✨ feat!(llm): 重构并升级大语言模型服务为全新 AI 智能体框架 (#2146)

* ✨ feat!(llm): 重构并升级大语言模型服务为全新 AI 智能体框架 - 【重构】将原 services/llm 重构并迁移至全新的 services/ai 架构，提供向下兼容垫片 - 【新增】引入 Agent、Team、Workflow 三大智能体与工作流编排范式 - 【新增】引入基于 RAG 的长期向量记忆与中期槽位记忆系统 - 【新增】引入基于 Docker 的安全代码执行沙箱环境 - 【新增】支持 MCP 协议，允许动态管理和调用 MCP 服务 - 【新增】引入输入输出安全合规护栏与自愈反思机制 - 【优化】重构并优化多厂商 API 适配器 (Gemini, OpenAI, DeepSeek, GLM 等) - 【优化】优化日志脱敏与 Token 预估机制 - 【移除】移除旧版 llm default 和 llm reset-key 命令，新增 llm mcp 管理命令 * 🔧 chore(deps): 更新项目依赖与配置 - 添加 mcp、jieba 和 aiodocker 依赖到配置文件及 requirements.txt - 在 pyright 配置中设置 reportMissingImports 为 none - 调整 .gitignore 中 resources 目录的忽略规则 * ♻️ refactor(tools): 重构工具终止机制并清理知识库日志输出 - 统一使用 `context.state["__end_run__"]` 替代 `EndRunResult` 控制任务结束 - 移除文件系统和向量知识库检索工具中 `ToolResult` 的 `.with_log` 调用 - 调整指令处理器（Directive）的返回值为 `tool_res.output` - 修复部分类型检查警告并优化联合类型判断语法 * ♻️ refactor(tools): 重构工具副作用指令与控制流熔断机制 - 引入 `DirectivePayload` 及 `ToolResult` 的子类以结构化表达工具副作用 - 移除通过 `context.state` 传递魔术变量的隐式控制流设计 - 重构 `DirectiveManager` 处理器接口，直接在处理器中修改 `AgentState` 并构建 `AgentRunResult` - 在 `StandardAgentExecutor` 中统一通过 `directive_manager` 调度工具返回的副作用指令 - 补全 `MessageBuilder` 中部分核心方法的文档注释 * 🐛 fix(sandbox): 修复 Docker 沙箱容器状态检测与会话清理逻辑 -【修复】修正 `is_alive` 中直接读取私有属性的问题，改用 `show()` 返回值 -【修复】解决 `execute_code` 中缓存的执行器与当前会话不一致的问题 -【优化】在清理工作区前增加容器存活检测，避免向已死容器发送请求 -【优化】创建容器时增加运行状态校验，若已停止则自动从缓存中移除并重建 -【优化】优化容器销毁和清理逻辑，静默处理容器不存在 (404) 的异常 * 📝 docs(core): 补充核心模块初始化方法的文档注释 * 🚨 auto fix by pre-commit hooks --------- Co-authored-by: webjoin111 <455457521@qq.com> Co-authored-by: pre-commit-ci[bot] <66853113+pre-commit-ci[bot]@users.noreply.github.com>
2026-10-22 12:40:09 +08:00 · 2026-07-03 08:53:56 +08:00
parent bdc1374848
commit 80fc5b86a7
223 changed files with 41885 additions and 10006 deletions
@@ -0,0 +1,129 @@
+from zhenxun.services.ai.core.messages import EmbeddingRequest
+from zhenxun.services.ai.core.models import ModelIdentity
+from zhenxun.services.ai.core.options import LLMEmbeddingConfig
+from zhenxun.services.ai.llm.adapters.base import BaseAdapter, RequestData
+from zhenxun.services.ai.llm.adapters.handlers.openai_handlers import (
+    OpenAIEmbeddingHandler,
+    OpenAIRerankHandler,
+)
+from zhenxun.services.ai.llm.adapters.openai import OpenAICompatAdapter
+
+
+class JinaEmbeddingHandler(OpenAIEmbeddingHandler):
+    """Jina 专属文本/多模态嵌入处理器"""
+
+    async def prepare_embedding_request(
+        self,
+        adapter: BaseAdapter,
+        identity: ModelIdentity,
+        api_key: str,
+        request: EmbeddingRequest,
+    ) -> RequestData:
+        batch = request.batch
+        config = request.config or LLMEmbeddingConfig()
+        endpoint = getattr(adapter, "get_embedding_endpoint")(identity)
+        url = adapter.get_api_url(identity, endpoint)
+        headers = adapter.get_base_headers(api_key)
+
+        is_omni = "omni" in identity.model_name.lower()
+        inputs_payload = []
+
+        if is_omni:
+            from zhenxun.services.ai.core.messages import (
+                AudioPart,
+                FilePart,
+                ImagePart,
+                TextPart,
+                VideoPart,
+            )
+            from zhenxun.services.log import logger
+
+            for payload in batch.payloads:
+                jina_content = []
+                for part in payload.parts:
+                    if isinstance(part, TextPart):
+                        jina_content.append({"text": part.text})
+                    elif isinstance(part, ImagePart):
+                        if part.url:
+                            jina_content.append({"image": part.url})
+                        else:
+                            jina_content.append(
+                                {"image": await part.get_data_uri("image/png")}
+                            )
+                    elif isinstance(part, AudioPart):
+                        if part.url:
+                            jina_content.append({"audio": part.url})
+                        else:
+                            jina_content.append(
+                                {"audio": await part.get_data_uri("audio/mp3")}
+                            )
+                    elif isinstance(part, VideoPart):
+                        if part.url:
+                            jina_content.append({"video": part.url})
+                        else:
+                            jina_content.append(
+                                {"video": await part.get_data_uri("video/mp4")}
+                            )
+                    elif isinstance(part, FilePart):
+                        logger.warning(
+                            f"Jina 暂不明确支持 Base64 内联 "
+                            f"{type(part).__name__}，已忽略。"
+                        )
+
+                if not jina_content:
+                    jina_content.append({"text": " "})
+
+                inputs_payload.append({"content": jina_content})
+        else:
+            inputs_payload = batch.to_text_only(
+                f"{identity.model_name} (API: {adapter.api_type})"
+            )
+
+        body = {
+            "model": identity.model_name,
+            "input": inputs_payload,
+        }
+
+        if config.output_dimensionality:
+            body["dimensions"] = config.output_dimensionality
+
+        if config.task_type:
+            task_mapping = {
+                "RETRIEVAL_QUERY": "retrieval.query",
+                "RETRIEVAL_DOCUMENT": "retrieval.passage",
+                "SEMANTIC_SIMILARITY": "text-matching",
+                "CLASSIFICATION": "classification",
+                "CLUSTERING": "clustering",
+            }
+            body["task"] = task_mapping.get(config.task_type, config.task_type)
+
+        if config.encoding_format and config.encoding_format != "float":
+            body["embedding_type"] = config.encoding_format
+
+        return RequestData(url=url, headers=headers, body=body)
+
+
+class JinaAdapter(OpenAICompatAdapter):
+    """Jina API 专有适配器 (仅支持 Embedding 和 Rerank)"""
+
+    def __init__(self):
+        super().__init__()
+        self.text_handler = None
+        self.embedding_handler = JinaEmbeddingHandler()
+        self.rerank_handler = OpenAIRerankHandler()
+
+    @property
+    def api_type(self) -> str:
+        """适配器主类型标识。"""
+        return "jina"
+
+    @property
+    def supported_api_types(self) -> list[str]:
+        """当前适配器支持的 API 类型列表。"""
+        return ["jina"]
+
+    def get_chat_endpoint(self, identity: ModelIdentity) -> str:
+        raise NotImplementedError("Jina API 专精于检索，暂不支持常规对话生成。")
+
+    def get_embedding_endpoint(self, identity: ModelIdentity) -> str:
+        return "/v1/embeddings"