02 / SHARED VOCABULARY
先定义清楚,
再说得简短。
把反复出现的工作要求整理成有明确含义的候选词条。这些是设计示例,不是从真实用户对话统计出的高频排行。
COST EXPERIMENT / VERIFY
什么时候才划算?
功能名称是给人看的标签;实验使用可解码的引用符号。每次独立请求若需重发字典,都要重新计算这部分成本。
o200k_base / TEXT TOKENS
原始输入—
字典 + 完整输入—
等待实际计数
正在加载分词器…
查看模型将收到的完整内容
共用词典需要什么?
| 约定 | 为什么要保留 |
|---|---|
| 定义与版本 | 接收方确认同一份词典,避免相同缩写指向不同含义。 |
| 作用范围 | 一条消息、一个任务,还是整个会话?不要默认模型在下一次请求中仍记得。 |
| 退回完整表达 | 不认识的词条要求完整定义;保留否定、金额、日期和授权边界。 |
短字符不一定是少 token
词典不会修改模型的 tokenizer。新缩写可能被拆成多个 token,所以这里对完整序列实际计数。如果程序先把短写展开再交给模型,主要节省的是传输或存储,不能据此声称模型输入 token 减少。