Mac Studio 24/7 AI 主力机手册（修订版）

该系统应超越本地聊天机器人的范畴，它应当：

• 服务于受信任的用户和应用程序。
• 运行定时任务并监控指定数据源。
• 维护可搜索的知识库集合。
• 对信息进行提取、分类、摘要和比对整合。
• 将简单任务路由至小模型，复杂任务路由至大模型。
• 记录任务、变更、故障、输出结果及需人工介入的决策。

当机器能在无人值守的情况下产出经过验证的结果时，它才真正成为了主力机——而不是仅仅把模型加载在内存里。

应用 → Funnel → 认证网关 → 路由器 → 已授权服务

切勿将 Ollama、MLX、Open WebUI、数据库或智能体服务器直接暴露给公网。Funnel 负责提供连通性；网关负责提供身份验证、授权、负载策略与速率控制。

• ai-stack：Ollama、Open WebUI、网关与 Funnel。
• agent-server：FastAPI 检索、工具、记忆与智能体执行框架。
• AI Local Server：仅网关、密钥、路由与重型模型策略。 在同一个仪表盘中监控这三部分，但保持它们的重启控制相互独立。

96 GB 内存池由 macOS、模型权重、KV 缓存、应用程序及文件处理共同共享。需在多个层级对其进行保护。

• GPU 已锁定内存（wired memory）限制约为 88 GB，并为操作系统保留余量。
• Ollama 通过 keep-alive 设置限制同时加载的模型数量，并自动卸载非活跃模型。
• 重型请求需携带 X-Confirm-Heavy: yes 头信息；否则网关将返回 HTTP 428 Precondition Required。
• 大型编码、推理与媒体模型仅在需要时加载。
• 在测量数据支持更大规模之前，重型模型的上下文长度应保持在 32K 或以下。

• 准入控制： 在执行重型负载前，检查内存、虚拟内存（swap）、已加载模型、任务队列、活跃会话、磁盘空间、UPS 状态及温度。
• 持久化队列： 每次仅允许执行一个 heavy-exclusive（重型独占）任务。
• 超时机制： 为每项任务设定截止时间、最大重试次数及取消路径。
• 并发分级： 针对轻量、默认、嵌入、语音、图像、视频及重型工作设定独立限制。
• 熔断机制： 暂停频繁故障的模型或数据源。
• 反压机制： 实行排队或直接返回 HTTP 429，而非接受不安全的并发请求。
• 磁盘水位线： 剩余空间低于 20% 时发出警告，低于 10% 时停止非必要下载/生成任务。

同步 USAspending 数据；整合 A 表、B 表和 C 表；核对行数与金额；并标记到期资金、进度风险、缺失关联关系及来源变更。

监控已审批目录；提取文本与元数据；管理重复项与版本；更新嵌入向量与索引；并汇报失败的接入、僵死的锁文件及未索引文件。

监控相关 AI 实验室、GitHub、Hugging Face 及本地运行时环境。使用 9B 模型分类相关性，使用 35B 模型针对特定影响范围撰写简明分析报告。

提取决策、风险、待办事项与矛盾点；检索证据；起草简报；运行仓库测试与依赖审查；并确保所有外部操作均经过审批。

将笔记转化为关联概念，识别矛盾之处，生成复习提示，并总结理解能力的变化轨迹。

• 创建机器可读的服务注册表：包含名称、端口、命令、健康检查 URL、日志路径、依赖关系、负责人及重启策略。
• 添加 launchd 重启控制逻辑，并在启动前等待 AI_DATA 目录与网络连接就绪。
• 验证优雅关闭流程与重启恢复能力。
• 修复 wiki-ingest 僵死锁问题，重新运行失败的 FY2026 同步任务，并将废弃脚本隔离至 quarantine 区域。

退出： 核心服务自动恢复，避免重启循环，并记录有用的失败原因。

构建一个轻量级状态 API 和基于 SQLite 的面板。显示整体状态；服务与错误；已加载的模型、内存、请求和延迟；作业状态；内存、交换空间、磁盘、CPU/GPU 和温度；数据新鲜度与对账情况；以及认证、速率限制、Funnel（漏斗网关）和高权限门禁事件。

添加持久的作业记录，包含 ID、类型、优先级、资源类别、模型、输入引用、时间戳、超时时间、重试次数、状态、结构化错误、输出位置、审批标志和幂等键。 使用资源类别：light（轻量）、default（默认）、embedding（嵌入）、speech（语音）、image（图像）、video（视频）和 heavy-exclusive（独占重型）。

生成每日 AI 运营简报，涵盖过夜健康状态、作业结果、USAspending（美国支出透明度系统）对账情况、相关的 AI 发布动态、知识库变更、异常事件以及推荐的操作。 这份简报是生产力的证明。整夜运行却不产生决策支持，不是成功。

• 将后端绑定到 localhost 或私有 Tailnet；仅通过 Funnel 暴露网关。
• 使用独立的应用密钥、模型权限和速率限制；轮换密钥，永不记录密钥明文。
• 当不需要公共访问时，禁用 Funnel。
• 区分公共、个人、工作敏感和受限的知识集合。
• 对摄入路径进行白名单管理，并记录来源、时间、哈希值和版本。
• 为每项作业使用最小权限工具、超时设置、重试限制和输出大小限制。
• 保留源文件和转换日志；将生成的输出视为草稿，除非经过验证。
• 在更改默认设置前评估模型升级方案。
• 对备份进行加密并测试恢复流程。
• 将 Mac Studio 和存储连接到不间断电源 (UPS)；测试安全关闭和恢复流程。
• 在网络、存储、内存、散热和电力检查通过之前，推迟重型作业的执行。

本地托管提高了控制权，但本身并不能为组织数据或受限数据建立合规性。

• 修复 wiki-ingest 锁并重跑 FY2026 USAspending 作业
• 验证重启至就绪状态和 UPS 关机/恢复流程
• 创建服务注册中心
• 收集服务、内存、交换空间、磁盘、队列及供电状态

• 构建操作仪表盘与持久化任务模式
• 添加准入控制和单一重载专用队列
• 执行 Coder-Next 测试、视觉一致性测试和 122B 验证性能测试
• 增加备份验证和磁盘水位阈值

• 自动生成每日 AI 运维简报
• 对一周内系统正常运行时间、故障率、延迟、模型使用量和有用输出进行测量
• 移除无实际负载证明的模型和服务
• 文档化常规、批量、重载、维护与恢复流程

机器已具备充足的模型能力。下一步的优势来自编排调度：可靠的启动、可控的路由、持久的队列、可信的数据、可观测性、评估机制与可复现的输出。

目标并非让 GPU 持续满载运行。它应是一个始终保持可用、精准识别有效任务、调用满足需求的最小资源、完整留存证据、安全处理上报，并向操作者清晰传达关键信息的系统。

来源：Mac_Studio_24x7_AI_Workhorse_Concise_Guide.md