Docker7530
34 lines
1.8 KiB
Markdown
34 lines
1.8 KiB
Markdown
# 任务
|
||
|
||
- [x] 开发：参加 IBS 项目晨会，同步昨日问题跟进事项。（李春良 0.5）
|
||
- [x] 开发：支撑 IBS V7.19.0 版本测试。新业务平面引入与系统集成实施。接口确认（郑子雯 1）
|
||
- [x] 项目：IBS 智能体调研，简化 MCP 接口逻辑。（张鹏豪 6.5）
|
||
|
||
# 日志
|
||
|
||
杭州是满血大概只有 8K。
|
||
|
||
咋们的蒸馏大概只有 4K。
|
||
|
||
1. vllm 可以控制请求时间么？
|
||
2. 是否开启思考是否可以控制？
|
||
3. vllm 启动有哪些可以控制。
|
||
|
||
deepseek-reasoner
|
||
|
||
DeepSeek-V3.2
|
||
（思考模式）
|
||
|
||
可以控制是否思考？
|
||
|
||
| 参数 | 不传默认值 | 传什么 | 作用 | 影响什么 |
|
||
| --------------------------- | ----------- | ----------------------------------------------------------------------- | ----------------- | -------------------------------------------------- |
|
||
| `--enable-auto-tool-choice` | 默认关闭（False） | 传 `--enable-auto-tool-choice` 开启；或显式传 `--no-enable-auto-tool-choice` 关闭 | 允许模型自己决定是否调用工具 | 不开时，模型通常不会主动发起 tool call；开了后，模型可根据问题自动选择 MCP/tool |
|
||
| `--tool-call-parser` | 默认无（None） | 传一个解析器名字，比如 `openai`、`llama3_json`、`hermes`、`mistral`、`qwen3_xml` 等 | 指定如何解析模型输出的工具调用格式 | 不传时，即使模型输出了工具调用内容，也可能无法被正确识别；传错了会导致 tool call 解析失败 |
|
||
|
||
|
||
|
||
# 总结
|
||
|
||
这两天在自己部署模型。想了解一些模型的概念。
|