Docker7530
2.3 KiB
2.3 KiB
任务
- 开发：参加 IBS 项目晨会，同步昨日问题跟进事项。（李春良 0.5）
- 测试：IBS 7.20.0 版本冒烟测试用例自测，完成。（郑子雯 3.5）
- 项目：完成 4 月的研发过程管理任务清单。（李春良 1）
- 项目：需求拆分工具部署。（张鹏豪 3）
日志
NLP = Natural Language Processing
BERT 是谷歌 2018 年发布的一款预训练 NLP 大模型全称：Bidirectional Encoder Representations from Transformers 中文：基于 Transformer 的双向编码器表征
LLM = Large Language Model 中文：大语言模型
| 模型 | 定位 | 能力 |
|---|---|---|
| BERT | 理解模型 | 只看懂文本，不会自由创作 |
| GPT | 生成模型 | 主打写字、聊天 |
| LLM | 统称 | 所有巨型 AI 语言模型都叫 LLM |
这里的 PMF = Product-Market Fit 中文标准翻译：产品市场契合
SGD = Stochastic Gradient Descent 中文：随机梯度下降
为了解决这个问题，许多代理系统实现了上下文截断或压缩策略。但过度激进的压缩不可避免地导致信息丢失。这个问题是根本性的：代理本质上必须根据所有先前状态预测下一个动作——而你无法可靠地预测哪个观察结果可能在十步之后变得至关重要。从逻辑角度看，任何不可逆的压缩都带有风险。
结构化的外部记忆。
创建一个todo.md文件
关于 AI代理的上下文工程：构建Manus的经验教训，上下文工程是一个可以拉开差距以及迅速迭代的工程，其中 KV 缓存机制至关重要，遮蔽方法是一个不错的理念，不要改变结构而是决定哪些工具的展示。记忆系统非常重要，一味的压缩不一定带来好的体验。不要被少样本示例所困，适当的打破结构。
KV 缓存，文章 Transformers KV Caching Explained | by João Lages | Medium 我个人理解，就是如果不用缓存，每次都会把前边生成过的字再计算一遍，但是如果有缓存了，那么前边的 kv 的值就不会再次计算了，而是直接启用，但是缓存的只有 kv 那么则不会影响模型预测输出。