多模态数据平面

MMDP 的基石是一套以 Apache Iceberg（作为 Foundry 和 AIP 的主要表格式）为核心的开放数据架构。作为一种在包括 AWS、Google Cloud、Microsoft Azure、Databricks 和 Snowflake 等关键合作伙伴中均被公认的开放标准，Iceberg 允许在 Palantir 内部以原生方式管理 Iceberg 编目（Catalog），亦可将外部提供者的系统注册为虚拟编目与表。这种方法确保了在利用本体（Ontology）支撑运营应用程序和 AI 驱动自动化时，绝不需要对数据进行重复复制。 由于 MMDP 支持 SQL 应用程序和分析笔记本等标准工具，团队可以像在其它任何环境中一样，安全地与 Foundry 和 AIP 中的数据进行交互并对其进行操作。许多组织正在积极构建“数据网格”（或新兴的“AI 网格”），将 Palantir 视为更广泛企业架构中的一员。MMDP 通过充当**“无墙花园”**的角色明确支持这些混合环境，在实现端到端的成果交付的同时，确保每一层架构都能与现有的数据湖、湖仓一体、传统数仓、治理工具和存储库进行深度集成。 Illustration showing many different data sources, compute engines, and models with a title of "Any Data, Any compute, Any model".Illustration showing example tabular data sources supported by MMDP with title "Any Data".

MMDP 将同样的开放保证扩展到非表格格式，包括媒体、文档、流式数据、地理空间数据以及其他多模态类型。

• 媒体数据可以在对底层格式做出最少假设的情况下进行同步。通过分析工具，被识别的格式会立即获得交互式解析；而自定义或小众格式的元数据可以从其他来源进行惰性追加。
• 流式和时空数据通常携带关联元数据（例如传感器标签），这些需要在与主要摄取管道并行的数据管道中进行并行处理。然而，无论数据是作为何种形式进行摄取或转换，底层文件和所有数据点均可通过标准 REST API 以及 Python 和 TypeScript SDK 安全访问。基于来源的变换（Source-based Transforms）范式使得开发人员能够利用完整的 Foundry 工具链，以精细的工作流级别控制来自定义数据输出。

MMDP 的开放计算架构充分释放了其开放数据基础的完整价值。Foundry 和 AIP 自带一系列开箱即用的运行时环境，均运行在一个被称为 Palantir Rubix <https://www.palantir.com/docs/foundry/architecture-center/rubix/> 的经过加固、自动扩缩容的 Kubernetes 基于的计算网格上。

Rubix 基于零信任原则运作，对每个托管的运行时和服务实施严格的安全姿态。为抵御高级持续性威胁，所有容器均在 72 小时内被销毁并重建，这要求计算基础设施具有高度可用性并能从容应对单节点故障。各个角色的用户——无论是技术数据工程师、分析数据科学家还是运营业务人员——均可通过平台借助 API 和 SDK 利用批处理、流处理和交互式计算引擎。该组合包括用于批处理工作负载的自动扩缩容 Spark、用于流处理的自动扩缩容 Flink，以及 Apache DataFusion、Polars 和 DuckDB 等高性能单节点引擎。

在 "Ontology 下方" 管理的数据转换（将原始数据转换为 Ontology 结构）以及在 "Ontology 上方" 使用的交互式函数（将 Ontology 数据提供给终端用户）均通过这些运行时环境以受控且弹性的方式实现。

Illustration showing example compute engines supported by MMDP with title "Any Compute".

Compute Modules 框架支持 "自带计算"（BYO Compute） 模型，允许任何容器化资源被导入并通过批量、流处理或交互式函数安全地暴露。

MMDP 通过有意避免单体存储和计算架构的局限性，弥合了分析与运营领域之间的鸿沟。它结合了利用 Apache Iceberg 的开放数据架构，以及对媒体、文档、流和多模态类型的同等支持。其计算架构捆绑了标准运行时，同时允许团队导入外部资源，并提供丰富的接口来编排现有的企业基础设施。通过庞大的模型目录和无缝的自定义模型注册，这种开放性得以延伸至生成式 AI 领域。 通过 Palantir Apollo，所有这些灵活性都不依赖于其底层基础设施提供商，并根据在运营一线遇到的实际需求不断演进。MMDP 的核心哲学浓缩为一条指令：“任意数据，任意计算，任意模型，无所不在。” 展示 MMDP 位于本体层以及自动化、代理和应用层之下的插图。 ---## 核心要点

• Apache Iceberg 是最基础的表格式，在 Foundry 与 AIP 之间实现目录管理、虚拟表以及零数据冗余工作流，同时支持外部湖仓（lakehouse）与数据仓库环境。
• 计算灵活性贯穿传统与现代平台：Palantir Rubix 提供经过强化处理、每 72 小时轮换容器的 Kubernetes 网格，而 Compute Modules 支持自带计算资源（BYO compute），可将工作负载原生生地推送到 Databricks、Snowflake 或现有的本地/云基础设施。
• 治理策略与灵活性已深度内置：通过令牌限制、精确的访问控制以及统一的资源管理，全面适用于所有数据模态、计算运行时环境与 AI 模型（含开源/闭源 LLM 及企业定制模型）。
• 基础设施中立性：MMDP 凭借其“无围墙花园”理念刻意规避厂商锁定风险，使 Palantir 能够无缝融入任意现有的数据网格、AI 网格或混合部署架构。