Docker7530
1.8 KiB
1.8 KiB
任务
- 开发：参加 IBS 项目晨会，同步昨日问题跟进事项。（李春良 0.5）
- 开发：支撑 IBS V7.19.0 版本测试。新业务平面引入与系统集成实施。接口确认（郑子雯 1）
- 项目：IBS 智能体调研，简化 MCP 接口逻辑。（张鹏豪 6.5）
日志
杭州是满血大概只有 8K。
咋们的蒸馏大概只有 4K。
- vllm 可以控制请求时间么？
- 是否开启思考是否可以控制？
- vllm 启动有哪些可以控制。
deepseek-reasoner
DeepSeek-V3.2
（思考模式）
可以控制是否思考？
| 参数 | 不传默认值 | 传什么 | 作用 | 影响什么 |
|---|---|---|---|---|
--enable-auto-tool-choice |
默认关闭（False） | 传 --enable-auto-tool-choice 开启；或显式传 --no-enable-auto-tool-choice 关闭 |
允许模型自己决定是否调用工具 | 不开时，模型通常不会主动发起 tool call；开了后，模型可根据问题自动选择 MCP/tool |
--tool-call-parser |
默认无（None） | 传一个解析器名字，比如 openai、llama3_json、hermes、mistral、qwen3_xml 等 |
指定如何解析模型输出的工具调用格式 | 不传时，即使模型输出了工具调用内容，也可能无法被正确识别；传错了会导致 tool call 解析失败 |
总结
这两天在自己部署模型。想了解一些模型的概念。