1775206638
This commit is contained in:
@@ -0,0 +1,33 @@
|
||||
# 任务
|
||||
|
||||
- [x] 开发:参加 IBS 项目晨会,同步昨日问题跟进事项。(李春良 0.5)
|
||||
- [x] 开发:支撑 IBS V7.19.0 版本测试。新业务平面引入与系统集成实施。接口确认(郑子雯 1)
|
||||
- [x] 项目:IBS 智能体调研,简化 MCP 接口逻辑。(张鹏豪 6.5)
|
||||
|
||||
# 日志
|
||||
|
||||
杭州是满血大概只有 8K。
|
||||
|
||||
咋们的蒸馏大概只有 4K。
|
||||
|
||||
1. vllm 可以控制请求时间么?
|
||||
2. 是否开启思考是否可以控制?
|
||||
3. vllm 启动有哪些可以控制。
|
||||
|
||||
deepseek-reasoner
|
||||
|
||||
DeepSeek-V3.2
|
||||
(思考模式)
|
||||
|
||||
可以控制是否思考?
|
||||
|
||||
| 参数 | 不传默认值 | 传什么 | 作用 | 影响什么 |
|
||||
| --------------------------- | ----------- | ----------------------------------------------------------------------- | ----------------- | -------------------------------------------------- |
|
||||
| `--enable-auto-tool-choice` | 默认关闭(False) | 传 `--enable-auto-tool-choice` 开启;或显式传 `--no-enable-auto-tool-choice` 关闭 | 允许模型自己决定是否调用工具 | 不开时,模型通常不会主动发起 tool call;开了后,模型可根据问题自动选择 MCP/tool |
|
||||
| `--tool-call-parser` | 默认无(None) | 传一个解析器名字,比如 `openai`、`llama3_json`、`hermes`、`mistral`、`qwen3_xml` 等 | 指定如何解析模型输出的工具调用格式 | 不传时,即使模型输出了工具调用内容,也可能无法被正确识别;传错了会导致 tool call 解析失败 |
|
||||
|
||||

|
||||
|
||||
# 总结
|
||||
|
||||
这两天在自己部署模型。想了解一些模型的概念。
|
||||
Reference in New Issue
Block a user