mirror of
https://github.com/zhenxun-org/zhenxun_bot.git
synced 2026-10-04 19:29:59 +08:00
922d092650
* ♻️ refactor(core): 重构 AI 能力与定时任务调度系统 - 【AI 能力与工具】重构 Capability 注册与管理机制，引入 CapabilityManager 统一管理 - 移除全局能力注册表，改用声明式装饰器 `@capability` 进行解耦注册 - 重构工具解析器链，使用统一的 BaseToolResolver 代替原有的多个特定解析器 - 增强工具查询过滤，支持通配符匹配、工具箱过滤和排除标签 - 【定时任务调度】重构定时任务管理器，引入 SchedulerRegistry 统一管理任务元数据 - 引入 JobConfig 聚合定时任务配置，支持用户维度的定时任务调度 - 重构执行分发器，支持并发限制、串行间隔和随机延迟打散 - 【运行上下文】引入 ScheduledDeps 以支持后台和定时任务环境下的依赖注入 - 优化 RunContext，支持从定时任务上下文快速构造，并提供 emit 辅助方法 - 【日志与监控】引入 AILoggerProxy，实现 AI 各模块的专属日志输出 - 将各模块的全局 logger 替换为对应的模块专属日志代理 - 【其他优化】修复 Pydantic V1 兼容层中 model_validator 的装饰器兼容性问题 - 在非交互式环境（如定时任务）中自动隐藏 HITL 交互工具以节省 Token * ♻️ refactor(core): 优化内部导入路径并提升 Pydantic 兼容性 - 【重构】将 `services/ai` 模块内的绝对导入重构为相对导入，优化包结构 - 【重构】移除不必要的 `if TYPE_CHECKING` 保护，通过 `from __future__ import annotations` 直接导入类型 - 【清理】清理 `core/messages/types.py` 中未使用的 `AssistantContentUnion` 等联合类型定义 - 【优化】在 `utils/pydantic_compat.py` 中新增 `model_rebuild` 兼容函数，统一 Pydantic V1/V2 的模型重建逻辑 - 【优化】将部分函数内部的延迟导入提升至模块顶部，规范代码结构 * ♻️ refactor(imports): 优化导入路径为相对导入并清理冗余导入 - 【重构】将 AI 服务相关模块中的绝对导入路径修改为相对导入，提升模块内聚性与可移植性 - 【清理】移除多处函数内部或类方法中未使用的冗余导入，避免循环引用和资源浪费 - 【格式化】微调部分工具装饰器和返回语句的格式与尾随逗号 * 🚨 auto fix by pre-commit hooks --------- Co-authored-by: webjoin111 <455457521@qq.com> Co-authored-by: pre-commit-ci[bot] <66853113+pre-commit-ci[bot]@users.noreply.github.com>
98 lines
3.0 KiB
Python
98 lines
3.0 KiB
Python
from typing import Any
|
|
|
|
from zhenxun.services.ai.utils.scope import normalize_scope_path
|
|
|
|
from .backends import (
|
|
StorageBackend,
|
|
)
|
|
from .configs import RAGConfig
|
|
from .ingestion import (
|
|
IndexPipeline,
|
|
)
|
|
from .models import (
|
|
BaseRecord,
|
|
SearchResult,
|
|
)
|
|
from .retrieval import (
|
|
BaseRetriever,
|
|
)
|
|
|
|
|
|
class ScopedRAGClient:
|
|
"""
|
|
RAG 基础设施门面。
|
|
封装了存储后端、检索器和写入管线，将所有操作透明地限定在指定的作用域前缀下。
|
|
"""
|
|
|
|
def __init__(
|
|
self,
|
|
storage: StorageBackend,
|
|
retriever: BaseRetriever,
|
|
pipeline: IndexPipeline,
|
|
scopes: str | list[str] = "/",
|
|
config: RAGConfig | None = None,
|
|
):
|
|
"""
|
|
初始化 ScopedRAGClient 实例。
|
|
|
|
参数:
|
|
storage: 底层向量/文档存储后端。
|
|
retriever: 数据召回检索器。
|
|
pipeline: 数据入库和索引分块处理管线。
|
|
scopes: 数据隔离作用域，支持单作用域前缀或多作用域前缀列表。
|
|
config: 全局的 RAG 配置项。
|
|
"""
|
|
self.storage = storage
|
|
self.retriever = retriever
|
|
self.pipeline = pipeline
|
|
self.config = config or RAGConfig()
|
|
self._background_tasks = set()
|
|
if isinstance(scopes, str):
|
|
self.scopes = [normalize_scope_path(scopes)]
|
|
else:
|
|
self.scopes = [normalize_scope_path(s) for s in scopes]
|
|
|
|
self.scope_prefix = self.scopes[0] if self.scopes else "/"
|
|
|
|
async def ingest(self, records: list[BaseRecord]) -> int:
|
|
"""通过 RAG Ingestion Pipeline 处理并入库数据"""
|
|
for r in records:
|
|
if "scope" not in r.metadata:
|
|
r.metadata["scope"] = self.scope_prefix
|
|
|
|
res = await self.pipeline.run(records)
|
|
return len(res)
|
|
|
|
async def search(
|
|
self,
|
|
query: Any,
|
|
limit: int = 10,
|
|
scopes: str | list[str] | None = None,
|
|
**kwargs: Any,
|
|
) -> list[SearchResult]:
|
|
"""
|
|
多作用域联合切片视图检索 (Union Search)。
|
|
并发向多个独立的作用域发起检索，并对结果进行合并、去重和重排。
|
|
"""
|
|
target_scopes = self.scopes
|
|
if scopes is not None:
|
|
target_scopes = (
|
|
[normalize_scope_path(scopes)]
|
|
if isinstance(scopes, str)
|
|
else [normalize_scope_path(s) for s in scopes]
|
|
)
|
|
|
|
if not target_scopes:
|
|
return []
|
|
|
|
kwargs["scopes"] = target_scopes
|
|
return await self.retriever.retrieve(query, limit=limit, **kwargs)
|
|
|
|
async def update(self, record: BaseRecord) -> None:
|
|
record.metadata["scope"] = self.scope_prefix
|
|
await self.storage.update(record)
|
|
|
|
async def delete(self, record_ids: list[str] | None = None, **kwargs: Any) -> int:
|
|
kwargs["scope_prefix"] = self.scope_prefix
|
|
return await self.storage.delete(record_ids=record_ids, **kwargs)
|