Docker7530
99 lines
3.0 KiB
Markdown
99 lines
3.0 KiB
Markdown
# 总体目标
|
||
|
||
1、支持 IBS 动态数据查询（工单进展、域名配置、运营数据、订购数据等）；
|
||
2、智能分析 CDN 优质客户；
|
||
3、团队纵向扩展：支持融合 CDN 配置一键下发下发、DNS动态数据查询等
|
||
|
||
# 公司现状
|
||
|
||
基于 vLLM 推理引擎部署 DeepSeek-R1-Distill-Qwen-32B
|
||
|
||
> 32K tokens（32768 约 2.4 万字中文）
|
||
> 使用 vLLM 框架，注意需开启工具调用相关配置。
|
||
|
||
RAGFlow v0.18.0 2025-04-23（知识库）
|
||
|
||
> 最新 v0.24.0
|
||
> 完全支持 MCP v0.20.0
|
||
> 依赖 MySQL、ES、Redis、MinIO
|
||
|
||
# 概念理解
|
||
|
||
bge 向量模型。
|
||
|
||
Function Calling / Tool Call / Tool Calling
|
||
|
||
[LangGraph](https://docs.langchain.com/oss/python/langgraph/overview) 个人理解为拖拽
|
||
|
||
**MCP** 服务端 + **ReAct Agent** 智能体 + **RAGFlow** 知识库
|
||
|
||
**MCP**（Model Context Protocol，模型上下文协议）是一种用于将 AI 应用连接到外部系统的开源标准。
|
||
|
||
> 通俗点理解
|
||
> 列出能力：服务器告诉客户端它提供哪些 tools/resources/prompts，以及每个 tool 的参数结构
|
||
> 调用工具：客户端发起 call tool，带上符合 schema 的参数
|
||
> 返回结果：服务器返回结构化结果（文本/数据/错误），客户端再交给模型继续推理
|
||
|
||
**ReAct**: Synergizing Reasoning and Acting in Language Models
|
||
|
||
> Question: 用户问题
|
||
>
|
||
> Thought: 我需要查一下数据
|
||
> Action: 调用查询工具(search API)
|
||
> Observation: 返回查询结果
|
||
>
|
||
> Thought: 根据结果我可以推理答案
|
||
> Action: 再调用一个工具 / 或直接回答
|
||
>
|
||
> Final Answer: 最终结果
|
||
|
||
**RAGFlow**（开源的 RAG 工程化平台 / 系统）Python TypeScript
|
||
|
||
本质是 RAG（Retrieval-Augmented Generation）检索增强生成
|
||
|
||
> 用户问题
|
||
> ↓
|
||
> 去知识库检索相关内容
|
||
> ↓
|
||
> 把检索结果喂给大模型
|
||
> ↓
|
||
> 生成答案
|
||
|
||
**DB-GPT** 开源的“AI 原生数据应用开发框架”，用大模型来操作数据库和数据系统。
|
||
|
||
# 问题备注
|
||
|
||
鉴权问题：哪个平台能调用哪些工具，哪个平台的哪些用户能调用哪些工具
|
||
|
||
AI 平台颁发系统级别 Token 限制你能用的工具。
|
||
|
||
也就是比如你在我们平台注册了你的 tool，然后调用我们 AI 接口，需要 MCP server Token 和 用户 Token。
|
||
|
||
如果只用户 Token，那么是不是就需要一个 令牌置换 方案。
|
||
|
||
你有什么工具？
|
||
|
||
我想知道企业A的域名列表。
|
||
|
||
我想查询 企业A a.com 近 5 天的峰值。
|
||
|
||
RAGFlow 版本升级至少 v0.20.0。（注意一下是否可以开启自身当作 MCP 服务的功能。）
|
||
|
||
dify 的整体使用流程流畅很多。
|
||
|
||
后期 Tool 多了，我们是否提供 MCP 注册中心。
|
||
|
||
Tool 代码的封装。
|
||
|
||
dify API 的研究。
|
||
|
||
DeepSeek-R1-Distill-Qwen-32B 工具调用。
|
||
|
||
发指令 --》ibs-ai --> RAGflow --> 智能决策 a 工具 b 知识库
|
||
|
||
需要 MCP server Token 和 用户 Token。
|
||
|
||
后期 Tool 多了，我们是否提供 MCP 注册中心。
|
||
|
||
DeepSeek-R1-Distill-Qwen-32B 工具调用。
|