mirror of
https://github.com/zhenxun-org/zhenxun_bot.git
synced 2026-09-28 16:20:56 +08:00
80fc5b86a7
* ✨ feat!(llm): 重构并升级大语言模型服务为全新 AI 智能体框架 - 【重构】将原 services/llm 重构并迁移至全新的 services/ai 架构，提供向下兼容垫片 - 【新增】引入 Agent、Team、Workflow 三大智能体与工作流编排范式 - 【新增】引入基于 RAG 的长期向量记忆与中期槽位记忆系统 - 【新增】引入基于 Docker 的安全代码执行沙箱环境 - 【新增】支持 MCP 协议，允许动态管理和调用 MCP 服务 - 【新增】引入输入输出安全合规护栏与自愈反思机制 - 【优化】重构并优化多厂商 API 适配器 (Gemini, OpenAI, DeepSeek, GLM 等) - 【优化】优化日志脱敏与 Token 预估机制 - 【移除】移除旧版 llm default 和 llm reset-key 命令，新增 llm mcp 管理命令 * 🔧 chore(deps): 更新项目依赖与配置 - 添加 mcp、jieba 和 aiodocker 依赖到配置文件及 requirements.txt - 在 pyright 配置中设置 reportMissingImports 为 none - 调整 .gitignore 中 resources 目录的忽略规则 * ♻️ refactor(tools): 重构工具终止机制并清理知识库日志输出 - 统一使用 `context.state["__end_run__"]` 替代 `EndRunResult` 控制任务结束 - 移除文件系统和向量知识库检索工具中 `ToolResult` 的 `.with_log` 调用 - 调整指令处理器（Directive）的返回值为 `tool_res.output` - 修复部分类型检查警告并优化联合类型判断语法 * ♻️ refactor(tools): 重构工具副作用指令与控制流熔断机制 - 引入 `DirectivePayload` 及 `ToolResult` 的子类以结构化表达工具副作用 - 移除通过 `context.state` 传递魔术变量的隐式控制流设计 - 重构 `DirectiveManager` 处理器接口，直接在处理器中修改 `AgentState` 并构建 `AgentRunResult` - 在 `StandardAgentExecutor` 中统一通过 `directive_manager` 调度工具返回的副作用指令 - 补全 `MessageBuilder` 中部分核心方法的文档注释 * 🐛 fix(sandbox): 修复 Docker 沙箱容器状态检测与会话清理逻辑 -【修复】修正 `is_alive` 中直接读取私有属性的问题，改用 `show()` 返回值 -【修复】解决 `execute_code` 中缓存的执行器与当前会话不一致的问题 -【优化】在清理工作区前增加容器存活检测，避免向已死容器发送请求 -【优化】创建容器时增加运行状态校验，若已停止则自动从缓存中移除并重建 -【优化】优化容器销毁和清理逻辑，静默处理容器不存在 (404) 的异常 * 📝 docs(core): 补充核心模块初始化方法的文档注释 * 🚨 auto fix by pre-commit hooks --------- Co-authored-by: webjoin111 <455457521@qq.com> Co-authored-by: pre-commit-ci[bot] <66853113+pre-commit-ci[bot]@users.noreply.github.com>
113 lines
3.8 KiB
Python
113 lines
3.8 KiB
Python
"""
|
|
LLM 服务内部状态与配置数据模型。
|
|
"""
|
|
|
|
from enum import Enum
|
|
|
|
from pydantic import BaseModel, Field
|
|
|
|
|
|
class HttpClientConfig(BaseModel):
|
|
"""HTTP 客户端底层连接池配置"""
|
|
|
|
timeout: int = 180
|
|
"""请求超时时间（秒）"""
|
|
max_connections: int = 100
|
|
"""连接池最大允许的总连接数"""
|
|
max_keepalive_connections: int = 20
|
|
"""连接池允许保持复用的最大 Keep-Alive 连接数"""
|
|
|
|
|
|
class RouteHealthState(str, Enum):
|
|
"""模型路由级别健康状态枚举"""
|
|
|
|
CLOSED = "CLOSED"
|
|
"""闭合状态：健康正常，放行所有请求"""
|
|
OPEN = "OPEN"
|
|
"""打开状态：熔断器已触发，拒绝所有请求"""
|
|
HALF_OPEN = "HALF_OPEN"
|
|
"""半开状态：冷却期结束，允许少量探活请求试探服务是否恢复"""
|
|
|
|
|
|
class KeyHealthStatus(BaseModel):
|
|
"""API 密钥凭证级别的详细状态信息"""
|
|
|
|
status: str = "HEALTHY"
|
|
"""当前密钥的健康状态 (HEALTHY, WARNING, COOLDOWN, DISABLED 等)"""
|
|
successes: int = 0
|
|
"""该密钥请求成功的总次数"""
|
|
failures: int = 0
|
|
"""该密钥请求失败的总次数"""
|
|
cooldown_until: float = 0.0
|
|
"""冷却解锁的 Unix 时间戳，0.0 表示无冷却"""
|
|
last_error: str | None = None
|
|
"""最近一次请求失败记录的错误原因"""
|
|
|
|
|
|
class RouteHealthStatus(BaseModel):
|
|
"""模型路由级别的遥测与熔断状态信息"""
|
|
|
|
state: RouteHealthState = RouteHealthState.CLOSED
|
|
"""当前路由节点的熔断器状态"""
|
|
cooldown_until: float = 0.0
|
|
"""熔断器探活冷却解锁的 Unix 时间戳"""
|
|
success_rate: float = 100.0
|
|
"""该路由的请求成功率百分比 (0.0 - 100.0)"""
|
|
successes: int = 0
|
|
"""该路由请求成功的总次数"""
|
|
failures: int = 0
|
|
"""该路由请求失败的总次数"""
|
|
latency_ema: float = 0.0
|
|
"""平滑指数移动平均 (EMA) 的响应延迟预估值（毫秒）"""
|
|
last_error: str | None = None
|
|
"""该路由最近一次发生服务端故障的错误原因"""
|
|
|
|
|
|
class ProviderHealthStatus(BaseModel):
|
|
"""单一提供商（服务商）的综合健康状态"""
|
|
|
|
api_keys: dict[str, KeyHealthStatus] = Field(default_factory=dict)
|
|
"""该提供商下绑定的所有 API 密钥状态映射表"""
|
|
|
|
|
|
class GlobalHealthState(BaseModel):
|
|
"""全局 AI 服务遥测与健康状态基座持久化模型"""
|
|
|
|
providers: dict[str, ProviderHealthStatus] = Field(default_factory=dict)
|
|
"""所有提供商维度的状态映射表"""
|
|
routes: dict[str, RouteHealthStatus] = Field(default_factory=dict)
|
|
"""所有模型路由端点维度的状态映射表"""
|
|
|
|
|
|
class CircuitBreakerPolicy(BaseModel):
|
|
"""熔断器与密钥冷却策略配置"""
|
|
|
|
rate_limit_cooldown: int = Field(default=60)
|
|
"""被限流时的短时冷却时间（秒）"""
|
|
auth_error_cooldown: int = Field(default=31536000)
|
|
"""凭证错误/鉴权失败时的长时冷却（默认1年即为禁用）"""
|
|
server_error_cooldown: int = Field(default=120)
|
|
"""服务端发生崩溃(500)等异常时的模型节点熔断时间（秒）"""
|
|
quota_error_cooldown: int = Field(default=3600)
|
|
"""API 额度耗尽时的冷却时间（秒）"""
|
|
|
|
|
|
class RetryConfig:
|
|
"""请求重试与轮询策略配置"""
|
|
|
|
def __init__(
|
|
self,
|
|
max_retries: int = 3,
|
|
retry_delay: float = 1.0,
|
|
exponential_backoff: bool = True,
|
|
key_rotation: bool = True,
|
|
):
|
|
self.max_retries = max_retries
|
|
"""发生可恢复异常时的最大重试次数"""
|
|
self.retry_delay = retry_delay
|
|
"""基础重试等待延迟（秒）"""
|
|
self.exponential_backoff = exponential_backoff
|
|
"""是否启用指数退避策略（延迟时间随重试次数翻倍）"""
|
|
self.key_rotation = key_rotation
|
|
"""发生凭证错误或限流时，是否自动轮换到下一个可用的 API Key"""
|