上下文压缩功能将长对话历史缩减为一个紧凑的压缩表示。这个压缩上下文可以在后续 API 调用中传回， 让模型"记住"之前对话的关键信息，同时大幅减少 token 使用量。
工作原理
- 模型处理对话历史并生成压缩表示
- 压缩上下文包含关键信息和上下文线索
- 在后续请求中传回压缩上下文
- 模型使用压缩上下文继续对话，无需完整历史
优势
- 降低成本 — 压缩后的上下文使用更少的 tokens
- 突破上下文限制 — 处理超出上下文窗口的长对话
- 保持连贯性 — 压缩上下文保留了对话的关键信息
- 简化开发 — 无需手动管理对话历史的截断和摘要
适用场景
- 长时间运行的聊天机器人对话
- 需要引用大量历史信息的智能体
- 超过 500K 上下文窗口的超长对话
- 需要控制 token 成本的企业应用