1775206638

This commit is contained in:
Docker7530
2026-04-03 16:57:21 +08:00
parent 30063feba4
commit ab41c81a53
71 changed files with 836 additions and 155 deletions
+33
View File
@@ -0,0 +1,33 @@
# 任务
- [x] 开发:参加 IBS 项目晨会,同步昨日问题跟进事项。(李春良 0.5)
- [x] 开发:支撑 IBS V7.19.0 版本测试。新业务平面引入与系统集成实施。接口确认(郑子雯 1)
- [x] 项目:IBS 智能体调研,简化 MCP 接口逻辑。(张鹏豪 6.5)
# 日志
杭州是满血大概只有 8K。
咋们的蒸馏大概只有 4K。
1. vllm 可以控制请求时间么?
2. 是否开启思考是否可以控制?
3. vllm 启动有哪些可以控制。
deepseek-reasoner
DeepSeek-V3.2
(思考模式)
可以控制是否思考?
| 参数 | 不传默认值 | 传什么 | 作用 | 影响什么 |
| --------------------------- | ----------- | ----------------------------------------------------------------------- | ----------------- | -------------------------------------------------- |
| `--enable-auto-tool-choice` | 默认关闭(False | 传 `--enable-auto-tool-choice` 开启;或显式传 `--no-enable-auto-tool-choice` 关闭 | 允许模型自己决定是否调用工具 | 不开时,模型通常不会主动发起 tool call;开了后,模型可根据问题自动选择 MCP/tool |
| `--tool-call-parser` | 默认无(None) | 传一个解析器名字,比如 `openai``llama3_json``hermes``mistral``qwen3_xml` 等 | 指定如何解析模型输出的工具调用格式 | 不传时,即使模型输出了工具调用内容,也可能无法被正确识别;传错了会导致 tool call 解析失败 |
![](../../../attachment/images-paste/image-20260325141838198.png)
# 总结
这两天在自己部署模型。想了解一些模型的概念。