融合了 3 个微型本地 LLM，推理能力媲美 Anthropic Fable 5

本文介绍了一种基于 Logit 层的动态模型融合方法：通过在本地 GPU 上并行运行三个专门化的小型 LLM，并在采样前对其 Logit 输出进行加权融合，使不同模型在语法、创意和逻辑推理等方面的优势得到协同。相比传统的静态参数合并，该方法无需修改模型权重，还能兼顾数据隐私、推理效率与本地部署成本，为利用消费级硬件构建高性能私有化 AI 推理系统提供了一种新的思路。

图片

你每次发送 Prompt 都要向中心化 API 支付 12 美分，只为了让一个闭源模型帮你解析简单的客户日志，还得时刻担心它产生幻觉（hallucinating）。这既慢又昂贵，甚至有些荒谬。行业试图让你相信，只有支付百万美元的高昂成本，才能获得前沿智能。但事实并非如此。

大多数开发者看到 Llama 3 8B 或 Gemma 2 9B 这样的轻量级本地模型时，往往会认为它们只是“玩具”。他们用标准 Prompt 做几轮测试，发现模型偶尔会在逻辑推理上出错，然后便立刻回到昂贵的云端 API。但如果我们根本不需要在“中心化服务器的高昂成本”和“本地设备的性能限制”之间二选一呢？

有一个很少有人告诉你的事实：解决高度复杂的推理任务，并不一定需要一个4000 亿参数的超大模型。通过在采样阶段（sampler level）融合三个专门针对不同任务的轻量级模型所产生的概率分布，我们可以获得接近前沿多智能体框架如 Anthropic Fable 5的推理精度。

下面，我来展示这一过程究竟是如何在底层运行的。

大多数教程只会停留在简单的 Prompt 路由，即把不同查询发送到不同的 API框中。别这么做，这种方法本质上只是一个非常缓慢、脆弱的“权宜之计”。如果我们想真正理解这套方案，就必须深入 Token 生成背后的数学机制。

要理解动态 Logit 级融合（active logit-level fusion），可以把它想象成一个在狭小、隔音的地下室里演奏的爵士三重奏。这里没有一个庞大的交响乐指挥，告诉所有人下一秒应该演奏哪个音符。取而代之的是一名钢琴手、一名贝斯手和一名鼓手。他们实时监听彼此的频率，并不断调整自己的节奏。

标准模型会以原始Logit数组的形式输出各个Token的概率分布。如果我们同时将三个小模型加载到机器的 GPU 显存中，它们就不必按照顺序逐个执行 Prompt。相反，我们可以让三个模型的 forward pass（前向传播）并行运行，再根据不同任务为各模型输出的向量赋予相应权重，并应用统一的 Token Mask。

当模型计算出下一个 Token 向量时，我们在采样发生前拦截 Logit。我们在其概率矩阵上运行加权平均，将向量乘以专门的权重，并应用组合 Token 掩码。这三个模型在硬件层面上对下一个字符进行投票。我们在不更改其底层权重的情况下，在语法和逻辑上结合了它们的优势。

图片

图片（图片说明：展示了传统线性执行方式与我们优化后的工程流水线之间的运行差异）

你可能已经在 Hugging Face 上见过使用 mergekit 等工具进行的静态模型合并（static model merging）。这类方法通常会使用球面线性插值（SLERP）或 任务向量（Task Vector）等技术，将不同模型的权重永久融合在一起。

很多教程都会推荐这种方法。但不要轻易采用。

其中一个隐秘的问题是：静态权重合并可能具有很强的破坏性。当你永久地将两个神经网络的参数矩阵进行融合时，原本赋予每个模型独特能力的数学结构可能会被压平、稀释。最终，模型可能失去原有的优势，出现一些标准基准测试难以捕捉的细微“认知衰减”。

而动态运行时融合（active runtime fusion）则绕开了这一限制。我们将各个模型的专用权重完整保留在隔离的 GPU 缓冲区中，让每个模型都能够以自身原生的精度评估当前上下文。例如：高度结构化的代码模型负责分析语法；创意模型负责判断叙事风格，用逻辑模型进行曲事实检查。而Logit 路由器（logit router）将充当实时仲裁者，在没有权重退化的前提下，匹配高端闭源模型的精确输出逻辑。

图片

图片（图片说明：映射状态转移、Token 概率指标或协议数据包的架构细节）

90% 的人会在这里卡住。他们编写了复杂的 Python 包装器，在按顺序查询服务器池时浪费了数毫秒。如果想构建一个真正响应迅速的本地系统，我们可以编写一个轻量级的 PyTorch 自定义采样器（custom sampler），直接在本地 GPU 显存中完成 Logit 层面的数学运算。

下面来看一个具体实现：使用 Python，将三个本地模型产生的概率分布进行融合，从而处理结构化程度较高的技术任务。

# 动态 Logit 级集成融合控制器

等等，在继续之前，先看看这里的数学运算。这套循环并不会增加延迟。在现代消费级芯片上，让三个小型模型并行运行，所需时间甚至不到通过标准网络流程调用一个超大云端模型的一半。最终，你可以获得：绝对的数据隐私、零订阅费用，以及极低延迟的本地推理性能。

图片 

图片

原文标题：

I Fused 3 Tiny Local LLMs on my Laptop and Matched the Reasoning of Anthropic Fable 5

原文链接：

https://pub.towardsai.net/i-fused-3-tiny-local-llms-on-my-laptop-and-matched-the-reasoning-of-anthropic-fable-5-4e62930b2bf0