Strict Frog's Blog

轻量级AIAgent之长短期Memory的设计和思考

长短期Memory

背景 场景: 在类似于ChatGPT设计风格的对话框中,用户可以进行对话,文件分析,以及其他的一些文档生成,排版等等的轻量级ChatAgent. 注意:此特定的AIgent属于即时性对话和分析,本文不涉及RAG和长任务规划 要解决的问题: 1, 通过用户意图分析(intent router),进行长短期Memory设计 2, 用户通过引用一段文字进行追问时, 短期记...

軽量AIAgentにおける長短期メモリの設計と考察

長短期メモリ

背景 シナリオ: ChatGPTのデザインスタイルに似たチャットボックスで、ユーザーが会話、ファイル解析、その他ドキュメント生成やレイアウトなどを行う軽量ChatAgent。 注意: 本特定AIgentは即時対話と解析に特化し、RAGや長期タスクプランニングは対象外です。 解決すべき課題: ユーザーの意図解析(intent router)に基づく...

Design and Considerations of Short-Term and Long-Term Memory in Lightweight AI Agents

Long Short-Term Memory

Background Scenario: A lightweight ChatAgent embedded in a ChatGPT-style conversational interface, where users can engage in dialogue, document analysis, as well as other document generation an...

Prompt模版(防攻击)

Prompt模版

背景 Prompt的安全和结构,这里只提供模版. 完整的prompt [System Prompt] [Tool Instructions] [Security Rules] [RAG Context] User Question System Prompt You are an AI assistant designed to solve user probl...

Promptテンプレート(攻撃防止)

Promptテンプレート

背景 プロンプトの安全性と構造について、ここではテンプレートのみを提供します。 完全なプロンプト [システムプロンプト] [ツールの指示] [セキュリティルール] [RAGコンテキスト] ユーザ質問 システムプロンプト あなたはユーザの問題を推論し、必要に応じてツールを使用して解決するAIアシスタントです。 ルール: 1. 常に正確で検証可能な情報を優先してく...

Prompt Template (Attack Prevention)

Prompt template

Background Prompt security and structure—this section provides only templates. Complete Prompt [System Prompt] [Tool Instructions] [Security Rules] [RAG Context] User Question System ...

Prompt之上下文管理和过滤

Prompt

背景 在开发文件分析的ChatAgent时, 在多轮对话的场景中,用户上传一个文件进行分析,LLM根据这个文件分析结果来回答用户的问题. 那么在用户第2,3,4…次提问中,有时问题和文件毫无关系, 那么prompt的上下文始终包含文件的分析结果就变得不可取了, 因为输入的tokens太多,成本也变得太高.管理和过滤prompt上下文就非常有必要了 分析 1, 最终的结果效...

Promptのコンテキスト管理とフィルタリング

技術ブログタイトルの翻訳

背景 ファイル解析用のChatAgentを開発する際に、多ターン対話のシナリオでユーザーがファイルをアップロードして解析し、LLMがそのファイル解析結果に基づいてユーザーの質問に回答します。 しかしユーザーの2回目、3回目、4回目…の質問では、質問がファイルと全く関係ない場合があります。この場合、プロンプトのコンテキストに常にファイルの解析結果を含めるのは適切ではなくなります。なぜな...

Context Management and Filtering in Prompts

Technical Blog Title

Background When developing a ChatAgent for document analysis, in multi-turn conversations, users upload a file for analysis, and the LLM answers user questions based on the analysis results of ...

AI时代下该如何生存

自我反思

AI时代下该如何生存? 在AI时代,工作被代替已经是必然了. 这意味着你的收入来源将不在稳定,每个月可支配的收入将会时多时少。 而在这场变革中,真正决定你活下来的是抗风险能力: 自身的负债额度, 每月最低的消费成本, 身体和心理的健康程度。 当大部分中产阶级都被AI视为平等对待时,差距将会被拉大 顶尖的人才将会突出, 中层人将会被严重挤压 底层人将会...

AI時代にどう生きるか

自己反省

AI時代でどのように生き残るか? AI時代において、仕事が代替されるのは避けられません。 これは、収入源が安定せず、毎月の可処分所得が増減することを意味します。 この変革の中で、生き残るために本当に重要なのはリスク耐性です: 自身の負債額、 毎月の最低生活コスト、 身体的および精神的な健康状態。 大多数の中産階級がAIに一律に扱われるとき、格差は拡大します。 ...

How to Survive in the Age of AI

Self-Reflection

How to Survive in the AI Era? In the AI era, job displacement is inevitable. This means your income source will no longer be stable, and your monthly disposable income will fluctuate. In this tr...

Fine-tuning之高质量SFT数据结构设计

高质量SFT数据结构

背景 微调模型能力 = 70% 数据结构设计 + 20% 数据质量 + 10% 训练参数 这篇文章只讲 ”数据结构设计“. 高质量SFT数据的5个层级 Level 1 基础问答 Level 2 System Prompt Level 3 思考链 (CoT) Level 4 多轮对话 Level 5 Tool / RAG 分析 Level ...

Fine-tuning之简单的数据准备与预处理

Fine-tuning

背景 私有LLM,最重要的是用私有数据对LLM进行微调(Fine-tuning).这篇文章先讲如何进行数据准备和预处理 数据准备 通过下载“斯坦福Alpaca训练所使用的数据集”得到如下格式的json文件: alpaca_data.json [ { "instruction": "Give three tips for staying healthy....

Fine-tuning之数据质量处理

数据清洗

背景 微调模型能力 = 70% 数据结构设计 + 20% 数据质量 + 10% 训练参数 这篇文章只讲数据质量, 也就是数据清洗 完整数据清洗 Pipeline 原始数据 ↓ 格式统一 ↓ 简单去重 ↓ 语义去重 ↓ 垃圾过滤 ↓ 长度控制 ↓ 语言过滤 ↓ 语义匹配检测 ↓ 困惑度过滤 ↓ 最终SFT数据 数据清洗 ...