mirror of
https://github.com/zhenxun-org/zhenxun_bot.git
synced 2026-10-06 12:20:00 +08:00
* ✨ feat!(llm): 重构并升级大语言模型服务为全新 AI 智能体框架 - 【重构】将原 services/llm 重构并迁移至全新的 services/ai 架构,提供向下兼容垫片 - 【新增】引入 Agent、Team、Workflow 三大智能体与工作流编排范式 - 【新增】引入基于 RAG 的长期向量记忆与中期槽位记忆系统 - 【新增】引入基于 Docker 的安全代码执行沙箱环境 - 【新增】支持 MCP 协议,允许动态管理和调用 MCP 服务 - 【新增】引入输入输出安全合规护栏与自愈反思机制 - 【优化】重构并优化多厂商 API 适配器 (Gemini, OpenAI, DeepSeek, GLM 等) - 【优化】优化日志脱敏与 Token 预估机制 - 【移除】移除旧版 llm default 和 llm reset-key 命令,新增 llm mcp 管理命令 * 🔧 chore(deps): 更新项目依赖与配置 - 添加 mcp、jieba 和 aiodocker 依赖到配置文件及 requirements.txt - 在 pyright 配置中设置 reportMissingImports 为 none - 调整 .gitignore 中 resources 目录的忽略规则 * ♻️ refactor(tools): 重构工具终止机制并清理知识库日志输出 - 统一使用 `context.state["__end_run__"]` 替代 `EndRunResult` 控制任务结束 - 移除文件系统和向量知识库检索工具中 `ToolResult` 的 `.with_log` 调用 - 调整指令处理器(Directive)的返回值为 `tool_res.output` - 修复部分类型检查警告并优化联合类型判断语法 * ♻️ refactor(tools): 重构工具副作用指令与控制流熔断机制 - 引入 `DirectivePayload` 及 `ToolResult` 的子类以结构化表达工具副作用 - 移除通过 `context.state` 传递魔术变量的隐式控制流设计 - 重构 `DirectiveManager` 处理器接口,直接在处理器中修改 `AgentState` 并构建 `AgentRunResult` - 在 `StandardAgentExecutor` 中统一通过 `directive_manager` 调度工具返回的副作用指令 - 补全 `MessageBuilder` 中部分核心方法的文档注释 * 🐛 fix(sandbox): 修复 Docker 沙箱容器状态检测与会话清理逻辑 -【修复】修正 `is_alive` 中直接读取私有属性的问题,改用 `show()` 返回值 -【修复】解决 `execute_code` 中缓存的执行器与当前会话不一致的问题 -【优化】在清理工作区前增加容器存活检测,避免向已死容器发送请求 -【优化】创建容器时增加运行状态校验,若已停止则自动从缓存中移除并重建 -【优化】优化容器销毁和清理逻辑,静默处理容器不存在 (404) 的异常 * 📝 docs(core): 补充核心模块初始化方法的文档注释 * 🚨 auto fix by pre-commit hooks --------- Co-authored-by: webjoin111 <455457521@qq.com> Co-authored-by: pre-commit-ci[bot] <66853113+pre-commit-ci[bot]@users.noreply.github.com>
170 lines
6.1 KiB
Python
170 lines
6.1 KiB
Python
import asyncio
|
|
from contextlib import asynccontextmanager
|
|
from contextvars import ContextVar
|
|
import time
|
|
from typing import Any
|
|
|
|
from pydantic import BaseModel, ConfigDict, Field
|
|
|
|
from zhenxun.services.ai.core.models import CancellationToken
|
|
from zhenxun.services.ai.utils.scope import BaseScopeBuilder, ScopeSelector
|
|
|
|
|
|
class PendingMessageQueue:
|
|
"""简单的运行时挂起消息队列"""
|
|
|
|
def __init__(self):
|
|
self._queue: list[Any] = []
|
|
|
|
def enqueue(self, msg: Any):
|
|
self._queue.append(msg)
|
|
|
|
def drain(self) -> list[Any]:
|
|
msgs = list(self._queue)
|
|
self._queue.clear()
|
|
return msgs
|
|
|
|
def has_items(self) -> bool:
|
|
return len(self._queue) > 0
|
|
|
|
|
|
class TaskStopper(BaseScopeBuilder["TaskStopper"]):
|
|
"""
|
|
声明式任务中止器 (Fluent Task Stopper)。
|
|
为第三方开发者提供友好的链式 API,精准中止正在运行或排队的大模型任务。
|
|
"""
|
|
|
|
def __init__(self, manager: "AgentSessionManager"):
|
|
super().__init__()
|
|
self.manager = manager
|
|
|
|
async def cancel(self) -> int:
|
|
"""执行中止动作,返回被成功中止的任务数量。"""
|
|
return await self.manager.cancel_by_query(self._selector)
|
|
|
|
|
|
class SessionInfo(BaseModel):
|
|
"""会话信息的元数据视图。"""
|
|
|
|
model_config = ConfigDict(arbitrary_types_allowed=True)
|
|
|
|
session_id: str
|
|
"""会话的唯一标识符"""
|
|
state: dict[str, Any] = Field(default_factory=dict)
|
|
"""业务流转的强类型载荷"""
|
|
created_at: float = Field(default_factory=time.time)
|
|
"""会话创建的时间戳"""
|
|
updated_at: float = Field(default_factory=time.time)
|
|
"""会话最后更新的时间戳"""
|
|
active_task: Any | None = Field(default=None)
|
|
"""当前正在执行的 asyncio.Task"""
|
|
cancel_token: CancellationToken | None = Field(default=None)
|
|
"""当前任务的取消令牌"""
|
|
steer_queue: PendingMessageQueue = Field(default_factory=PendingMessageQueue)
|
|
"""动态转向指令干预队列"""
|
|
follow_up_queue: PendingMessageQueue = Field(default_factory=PendingMessageQueue)
|
|
"""后续追加指令干预队列"""
|
|
|
|
|
|
class LockContext(BaseModel):
|
|
"""并发锁的执行追踪器(解决 INTERRUPT 需要跨 Session 取消任务的问题)"""
|
|
|
|
model_config = ConfigDict(arbitrary_types_allowed=True)
|
|
active_task: Any | None = None
|
|
cancel_token: CancellationToken | None = None
|
|
|
|
|
|
class AgentSessionManager:
|
|
"""
|
|
Agent 会话状态管理器。
|
|
彻底拥抱无状态:只维护业务强类型载荷 (state payload) 以及并发锁,不干涉 LLM 历史。
|
|
"""
|
|
|
|
def __init__(self):
|
|
self._sessions: dict[str, SessionInfo] = {}
|
|
self._locks: dict[str, asyncio.Lock] = {}
|
|
self._exec_locks: dict[str, asyncio.Lock] = {}
|
|
self.lock_contexts: dict[str, LockContext] = {}
|
|
self.live_tasks: dict[str, list[tuple[CancellationToken, Any]]] = {}
|
|
|
|
def stopper(self) -> TaskStopper:
|
|
"""获取声明式任务中止器,供第三方开发者极速中止运行中/排队中的任务"""
|
|
return TaskStopper(self)
|
|
|
|
async def cancel_by_query(self, query: ScopeSelector) -> int:
|
|
"""根据查询条件取消符合条件的会话任务。返回取消的数量"""
|
|
count = 0
|
|
scope_prefix = query.scope_prefix
|
|
|
|
for sid, tasks in list(self.live_tasks.items()):
|
|
if sid.startswith(scope_prefix) or (
|
|
query.session_id and sid == query.session_id
|
|
):
|
|
for token, task in tasks:
|
|
if not token.is_cancelled():
|
|
token.cancel()
|
|
count += 1
|
|
if task and not task.done():
|
|
task.cancel()
|
|
from zhenxun.services.log import logger
|
|
|
|
if count > 0:
|
|
logger.info(
|
|
f"🛑 [TaskStopper] 已强制终止排队或执行中的会话任务: {sid}"
|
|
)
|
|
return count
|
|
|
|
def _get_lock(self, session_id: str) -> asyncio.Lock:
|
|
if session_id not in self._locks:
|
|
self._locks[session_id] = asyncio.Lock()
|
|
return self._locks[session_id]
|
|
|
|
def get_exec_lock(self, session_id: str) -> asyncio.Lock:
|
|
if session_id not in self._exec_locks:
|
|
self._exec_locks[session_id] = asyncio.Lock()
|
|
return self._exec_locks[session_id]
|
|
|
|
async def get_or_create(self, session_id: str) -> SessionInfo:
|
|
async with self._get_lock(session_id):
|
|
if session_id not in self._sessions:
|
|
self._sessions[session_id] = SessionInfo(session_id=session_id)
|
|
return self._sessions[session_id]
|
|
|
|
async def get(self, session_id: str) -> SessionInfo | None:
|
|
async with self._get_lock(session_id):
|
|
return self._sessions.get(session_id)
|
|
|
|
async def update_state(self, session_id: str, new_state: dict[str, Any]):
|
|
async with self._get_lock(session_id):
|
|
if session_id in self._sessions:
|
|
self._sessions[session_id].state.update(new_state)
|
|
self._sessions[session_id].updated_at = time.time()
|
|
|
|
async def delete(self, session_id: str):
|
|
async with self._get_lock(session_id):
|
|
self._sessions.pop(session_id, None)
|
|
from zhenxun.services.ai.context.memory.manager import memory_manager
|
|
from zhenxun.services.ai.context.memory.models import MemoryConfig
|
|
from zhenxun.services.ai.context.memory.types import SessionMetadata
|
|
|
|
default_ctx = memory_manager.get_chat_context(MemoryConfig())
|
|
if default_ctx:
|
|
await default_ctx.clear(SessionMetadata(session_id=session_id))
|
|
|
|
|
|
session_manager = AgentSessionManager()
|
|
active_session_id: ContextVar[str | None] = ContextVar(
|
|
"active_session_id", default=None
|
|
)
|
|
|
|
|
|
@asynccontextmanager
|
|
async def agent_session_scope(session_id: str):
|
|
"""声明式上下文包装器。进入此作用域后的 Agent 都会自动吸附到指定的 SessionID 上。"""
|
|
await session_manager.get_or_create(session_id)
|
|
token = active_session_id.set(session_id)
|
|
try:
|
|
yield session_id
|
|
finally:
|
|
active_session_id.reset(token)
|