本文永久链接 – https://tonybai.com/2026/11/22/ai-agents-apache-datafusion-influxdb-3-database-architecture

大家好,我是Tony Bai。

【导读】

过去几十年,数据库的发展一直在追求更强的通用性:一个数据库产品集成存储、索引、查询优化、执行引擎和分布式计算,尽可能满足各种业务需求。

但这种模式正在发生变化。

Apache DataFusion 的主要贡献者、InfluxDB 3.0 核心开发者 Andrew Lamb,在一次深度专访中分享了一个颇具启发性的判断:随着 AI Coding Agent 大幅降低软件开发成本,未来企业可能重新走向专用软件和定制化基础设施。

这不仅意味着 AI 正在改变应用开发,也可能改变数据库的构建方式。

从 DataFusion 如何通过动态过滤避免扫描不必要的数据,到 Parquet 如何演进以适应 AI 和向量检索,再到分布式查询引擎的构建,以及 AI 生成代码给开源社区带来的新挑战,这次专访实际上揭示了下一代数据基础设施的几个重要方向。

【文章要点】

  1. 数据库正在走向组件化。DataFusion 更像数据库领域的 LLVM,为开发者提供可组合的查询处理能力,而不是一个封闭的数据库产品。
  2. 查询优化的核心是尽可能少做无用功。动态过滤让查询执行过程中产生的信息反向影响数据扫描,实现运行时剪枝。
  3. 数据布局决定查询性能上限。分区、排序、聚簇以及 Parquet 元数据,共同决定查询引擎能够跳过多少数据。
  4. Parquet 正在适应 AI 时代的新负载。Variant、地理空间类型、向量支持和新型编码,正在扩展这一开放存储格式的能力边界。
  5. 分布式查询的难点不只是分配任务。Shuffle、Join、数据重分布以及故障恢复,才是真正复杂的部分。
  6. AI Agent 可能让专用基础设施重新繁荣。软件开发成本下降后,企业更有动力组装适合自身业务的数据系统。
  7. AI 也在冲击开源协作模式。代码生成越来越容易,但维护者的审查时间和社区治理能力并没有同步增长。


引言:数据库,为什么又要重新构建?

过去几十年,数据库行业形成了一种非常成熟的产品模式:数据库厂商负责存储引擎、索引、查询优化器、执行引擎和分布式调度,用户只需要选择一个数据库产品。

这种模式创造了大量优秀的数据库产品,但也带来了一个问题:每当有人想构建一种新的专用数据库,往往就不得不重新实现大量已经被解决过的问题。

例如,一个基因组分析数据库,可能需要 SQL 查询能力;一个地理空间数据库,需要复杂的空间数据处理;一个时序数据库,需要针对时间范围查询进行深度优化。

这些系统的业务领域不同,但底层有大量相同的技术需求。

Andrew Lamb 在专访中提出了一个值得关注的趋势:数据库行业正在走向组件化。未来开发者不一定需要从零构建一个完整数据库,而是可以通过组合成熟的开源组件,构建自己的专用数据系统。

而 AI Coding Agent 的出现,可能让这一趋势进一步加速。

要理解这个变化,我们先从 Apache DataFusion 开始。

数据库领域的 LLVM:Apache DataFusion 究竟是什么?

Andrew Lamb 是 InfluxData 的 Staff Engineer,也是 Apache DataFusion、Apache Arrow 和 Apache Parquet 社区的重要贡献者。

DataFusion 是一个使用 Rust 编写、基于 Apache Arrow 内存模型的可扩展查询执行框架。

它不是一个开箱即用的完整数据库,而是一套可以嵌入其他系统的查询引擎基础设施。

这里可以引入 Andrew 使用过的一个类比:DataFusion 之于数据库,有点像 LLVM 之于编译器。

LLVM 并不替你决定要构建什么编程语言,但它提供了中间表示、优化和代码生成等基础设施,让不同语言可以复用成熟的编译技术。

DataFusion 也有类似的定位:

  • SQL Parser:负责 SQL 解析。
  • Logical Plan:描述需要完成什么计算。
  • Optimizer:对查询计划进行优化。
  • Physical Plan:决定具体采用什么执行算法。
  • Execution Engine:负责真正执行查询。
  • Extension API:允许开发者扩展数据源、算子、Catalog、统计信息和优化规则。

这意味着,开发者可以专注于自己的业务领域,而不必重新实现一套完整的 SQL 查询引擎。

FDAP:InfluxDB 3.0 的技术基础

这里引出 InfluxDB 3.0 使用的 FDAP 技术栈:

组件 职责
Apache Flight 高性能数据传输
Apache DataFusion 查询规划与执行
Apache Arrow 列式内存数据表示
Apache Parquet 持久化列式存储

这套架构的价值在于,每个组件都可以独立演进,也可以被其他项目复用。

Andrew 提到,Apple、Cloudflare、Palantir 等公司已经在产品中使用 DataFusion。它的生态也逐渐从一个查询引擎扩展为一组可组合的基础组件。

查询引擎如何做到只读需要的数据?

为了更好地理解专访中 Andrew 提及的技术理念和架构,我们这里使用一个贯穿文章的例子。

假设我们有一个存储在 S3 上的日志系统,数据被组织成 1000 个 Parquet 文件。现在执行:

SELECT * FROM logs ORDER BY timestamp DESC LIMIT 10; 

我们只需要最近的 10 条日志。

一个简单的实现可能会读取全部 1000 个文件,然后排序,再取出前 10 条。

显然,这种方式浪费巨大。

DataFusion 的优化思路是:不仅要减少排序工作,还要尽可能避免读取那些不可能出现在最终结果中的数据。

从 SQL 到执行:查询经历了什么?

Andrew 将查询执行过程拆解得非常清楚。

这里需要重点解释逻辑计划和物理计划的区别。

逻辑计划回答的是:我要计算什么?

例如:

  • 扫描 logs 表。
  • 按 timestamp 排序。
  • 取前 10 条。

它不关心底层究竟有多少文件,也不决定具体使用什么排序算法。

物理计划回答的是:具体怎么计算?

例如:

  • 使用哪种 Scan 算子。
  • 采用 TopK 还是完整排序。
  • 是否可以利用已有的数据排序属性。
  • 如何读取 Parquet 文件。
  • 如何利用统计信息跳过数据。

这也是数据库系统中非常重要的设计:将计算意图与具体执行方式分离。

Parquet 的多级剪枝:文件、Row Group、Page

DataFusion 不会一上来就读取全部数据。

它会充分利用 Parquet 中的元数据。

一个 Parquet 文件可以看成由多个 Row Group 组成,每个 Row Group 又包含多个 Page。

每个层次都可以提供统计信息,帮助查询引擎判断数据是否值得读取。

典型的优化过程:

  1. 文件级剪枝:根据目录分区和文件统计信息,跳过不符合条件的文件。
  2. Row Group 级剪枝:利用 Footer 中的 Min/Max 等统计信息,排除不可能满足条件的 Row Group。
  3. Page 级剪枝:利用 Page Index 等元数据,进一步缩小读取范围。
  4. 数据解码:最终只读取真正需要的数据。

这实际上是一种层层缩小搜索空间的策略。

动态过滤:让查询执行过程反过来指导数据扫描

这是整场专访中最值得深入展开的技术亮点。

传统的谓词下推和静态剪枝,主要依赖查询开始之前已经知道的信息。

但 TopK 查询存在一个特殊问题:我们一开始并不知道最终的第 10 大时间戳是多少。

因此,查询开始时,无法准确判断哪些文件可以被跳过。

DataFusion 引入的 Dynamic Filters(动态过滤)解决了这个问题。

其工作过程如下:

  1. TopK 算子使用一个 Heap,维护当前最好的 10 条记录。
  2. 随着数据不断进入,TopK 持续更新当前第 10 名的边界值。
  3. TopK 将这个边界值传递给底层 Scan 算子。
  4. Scan 根据最新边界,动态判断后续文件、Row Group 是否还有读取价值。
  5. 一旦能够证明某些数据不可能进入最终结果,就直接跳过。

这意味着,查询优化不再只是执行之前的一次性决策,而是贯穿整个查询执行过程。

Andrew 在专访中也举了一个非常直观的例子:如果 1000 个文件按照时间组织,DataFusion 可能只需要打开最靠近当前时间的第一个文件,读取一部分数据,就能判断后续文件不可能产生更靠前的结果。

当然,这依赖于文件统计信息、数据排序和时间范围能够提供足够强的剪枝依据,并不是所有数据布局下都能只读取一个文件。

这项技术并非停留在理论上。DataFusion 社区此前发表的动态过滤实践文章中,Pydantic 的 Logfire 在特定查询模式下实现了超过 10 倍的性能提升。

Parquet 正在进化:为 AI 和新型查询负载做准备

Parquet 已经成为数据湖和分析型系统中非常重要的开放存储格式。

Andrew 认为,Parquet 很可能长期承担数据归档和跨系统交换的角色。

但它也面临新的挑战。

传统 Parquet 主要针对大规模扫描和聚合分析进行了优化,而 AI 和现代数据应用带来了更多不同的访问模式。

例如:

  • 半结构化 JSON 数据。
  • 地理空间数据。
  • 向量数据。
  • 大量随机单行读取。

这些场景对存储格式提出了新的要求。

Variant:让 Parquet 更高效地存储 JSON

过去,很多系统会直接把 JSON 当作字符串存储在 Parquet 中。

问题是:

  • 每条记录都可能重复保存相同的字段名称。
  • 查询时需要解析 JSON。
  • 很难充分利用列式存储和统计信息进行剪枝。

Parquet 引入了 Variant 类型。

它不仅能够表达 JSON 这样的半结构化数据,还支持将经常查询的字段提取出来,形成独立的类型化列。

这一过程称为 Shredding。

例如:

{  "timestamp": "2026-11-20T10:00:00Z",  "service": "payment",  "latency": 120,  "custom_field": {  "region": "ap-east-1"  } } 

可以将 timestamp、service、latency 等常用字段作为独立的 Parquet 列,而将不固定的字段保留在 Variant 结构中。

这样既保留了 JSON 的灵活性,又能够利用 Parquet 的列式读取、投影裁剪和统计信息。

Geospatial:让地理空间数据也能被剪枝

Parquet 现在支持原生的 GEOMETRY 和 GEOGRAPHY 类型。

更有意思的是,它还能利用 Bounding Box(边界框)统计信息进行空间剪枝。

例如,查询德克萨斯州范围内的数据时,如果某个 Row Group 的地理边界框与查询区域完全不相交,就可以直接跳过它。

这意味着传统的 Min/Max 剪枝思想,也能扩展到空间数据领域。

Vector:让 Parquet 进入向量数据领域

向量检索已经成为 AI 基础设施的重要组成部分。

Parquet 正在增加 FINITE_VECTOR 类型,用于表示固定长度的数值向量。

但这里需要区分两个概念:

  • 能够高效存储向量。
  • 能够高效执行向量相似度搜索。

二者并不等价。向量存储格式并不会自动提供完整的 ANN 索引和检索能力。

单行随机访问:Parquet 的另一块短板

传统 Parquet 擅长批量读取,却不擅长随机获取少量记录。

因为读取一条记录可能需要:

  • 读取多个列的 Page。
  • 解压整个 Page。
  • 解码目标记录之前的数据。

此外,Andrew 特别提到了 ALP(Adaptive Lossless floating-Point)编码。

它针对具有固定精度特征的浮点数据进行编码,在保持无损的同时,提高了解码速度,并支持更高效的随机访问。

Parquet 还在探索字符串和整数领域的新编码方案。

由此判断,Parquet 的未来不一定是放弃列式分析优势,而是在保留开放格式和兼容性的前提下,逐步覆盖更多访问模式。

从单机查询到分布式执行:真正困难的是什么?

DataFusion 本身主要提供单进程内的查询执行能力,但它已经具备了构建分布式查询引擎所需的很多基础设施。

Andrew 重点介绍了两个方向:

  • Ballista:一个基于 DataFusion 的分布式查询引擎。
  • DataFusion Distributed:一个可以嵌入现有 DataFusion 系统的分布式扩展库。

二者的定位并不完全相同。

Ballista 提供相对完整的分布式执行框架,包括 Scheduler、Executor 和 Shuffle 等机制。

DataFusion Distributed 则更强调 API 和基础能力的可组合性,让开发者可以将分布式查询执行整合进自己的系统。

分布式查询真正难在 Shuffle

假设我们要在多个节点上执行:

SELECT service, COUNT(*) FROM logs GROUP BY service; 

每个节点可以先在本地完成部分聚合,但最终必须确保相同 service 的数据被发送到同一个节点。

这就需要 Shuffle。

对于 Join,问题更加复杂:两个数据集中的匹配记录必须被分配到同一个节点,否则就无法正确完成 Join。

这里还涉及 Broadcast Join、Hash Partitioning、Range Partitioning、Bloom Filter 等优化技术。

Andrew 特别强调,分布式查询并不是简单地把扫描任务分配到不同机器上。真正复杂的是数据如何在节点之间正确、高效地流动。

此外,不同分布式执行架构还有不同取舍:

  • 物化中间结果,可以提升故障恢复能力,但增加磁盘 I/O。
  • 流式 Shuffle,可以降低延迟和中间数据物化成本,但需要更复杂的执行和故障处理机制。

分布式查询引擎的核心难题,是如何在网络、内存、计算和故障恢复之间做出正确的权衡。

AI Agent 正在让专用数据库重新成为可能

这是整篇文章中最值得上升到行业趋势层面讨论的一部分。

Andrew 提出了一个非常有意思的判断:

过去 30~40 年,软件行业逐渐从企业自研转向标准化、产品化软件。

原因很简单:购买和使用成熟软件,通常比招聘团队从头开发、长期维护更便宜。

但 Coding Agent 正在改变这个成本结构。

当一个 Agent 可以帮助开发者完成大量代码编写、测试和系统集成工作时,构建专用软件的成本就可能大幅下降。

于是,一个过去不经济的选择,可能重新变得有吸引力:

企业不一定要购买一个通用数据库,再努力适配自己的业务,而是可以围绕自己的数据模型和查询模式,组装一套专用的数据基础设施。

但这里需要强调,这并不意味着每次都从零写代码。

更可能的模式是:

这也解释了为什么 DataFusion 的可扩展性如此重要。

开发者可以实现自己的 Catalog、数据源、索引、算子和优化规则,而不必修改一个庞大的封闭数据库系统。

Andrew 甚至提出了一个更大胆的预测:

未来,SQL 可能成为访问各种专用数据系统的统一语言。

因为人类过去需要学习不同领域的 DSL 和专用接口,但现在我们越来越多地通过 LLM 与系统交互,而 LLM 已经非常擅长理解和生成 SQL。

这意味着,SQL 可能不只是数据库查询语言,还会成为 AI Agent 访问企业数据基础设施的重要接口。

这一判断与 DataFusion 的发展方向高度契合。

AI 也在改变开源:当代码不再稀缺,什么才稀缺?

专访最后,Andrew 分享了一个非常现实的问题:AI 生成代码的能力,已经开始冲击开源项目的日常维护工作。

他说,过去半年,他认识的大多数软件工程师都已经不再主要编写代码,而是更多地审查 Coding Agent 生成的代码。

DataFusion 社区也遇到了类似情况。

一段时间内,项目积累了大约 400 个未关闭的 Pull Request。

一些贡献者利用 Agent,在几个小时内就生成并提交了 10~12 个 PR,甚至有人在短时间内向上百个开源仓库提交代码。

问题在于:

代码生成速度提升了,但代码审查速度并没有同步提升。

维护者需要判断:

  • 代码是否真的解决了一个实际问题?
  • 实现是否符合项目架构?
  • 测试是否充分?
  • 提交者是否理解自己提交的代码?
  • 这些改动是否值得长期维护?

这导致一个非常尴尬的局面:AI 生成的代码越多,维护者反而越难找到真正有价值的贡献。

DataFusion 社区采取了几个措施:

  1. 将没有写权限的贡献者同时开放的非 Draft PR 限制为 3 个。
  2. 将 CI Runner 的成本转移到贡献者自己的 Fork。
  3. 更严格地筛选 PR,优先处理真正有上下文、有实际价值的贡献。

值得注意的是,这并不是反对 AI 生成代码。

Andrew 真正担心的是,AI 降低了提交代码的门槛,却没有降低维护和审查代码的成本。

目前 DataFusion 的贡献指南已经明确写入了相关限制和 AI 辅助贡献要求。

这里可以进一步提出一个值得思考的问题:

当代码越来越廉价,真正稀缺的可能不再是编写代码的能力,而是理解系统、判断架构、识别价值以及承担长期维护责任的能力。

这不仅是开源社区的问题,也是整个软件工程行业需要面对的问题。

小结:未来的数据库,可能不再是一个产品,而是一套组合

回到 Andrew Lamb 的这次专访。

从 DataFusion 的查询优化器,到 Parquet 的新型编码,再到分布式执行和 AI Agent,我们看到的并不是几个孤立的技术进展。

它们共同指向一个更大的趋势:

数据库正在从封闭、垂直整合的产品,逐渐走向开放、模块化、可组合的基础设施。

过去,构建一个专用数据库意味着投入大量人力,重新实现 SQL、存储、执行和优化等基础能力。

现在,DataFusion、Arrow、Parquet 等开源项目已经提供了越来越成熟的基础组件,而 AI Agent 又进一步降低了组装和扩展这些组件的成本。

未来,企业可能不再需要为所有场景选择一个通用数据库,而是可以针对自己的业务特点,构建最适合自己的数据系统。

Andrew 在专访最后给出了一个很有意思的建议:

如果你正在做一个数据项目,不妨试着给它加上一个 SQL 接口,再让 AI Agent 通过 SQL 查询它。

也许你会发现,原本需要大量定制开发才能完成的事情,现在已经变得容易得多。

AI 不只是让我们写代码更快,它还可能让我们重新思考:究竟应该如何构建软件。

资料链接:Andrew Lamb 专访视频(YouTube)- https://www.youtube.com/watch?v=LBSfavhN4pw


还在为写 Agent 框架频频死循环、上下文爆炸而束手无策?我的新专栏 《从0 开始构建 Agent Harness》 将带你:

  • 抛弃臃肿框架,回归“驾驭工程 (Harness Engineering)”的第一性原理
  • 用 Go 语言手写 ReAct 循环、并发拦截与上下文压缩引擎等,复刻极简OpenClaw
  • 构建坚不可摧的 Safety Middleware 与飞书人工审批防线
  • 在底层实现 Token 成本审计、链路追踪与自动化跑分评估
  • 从“调包侠”进化为掌控大模型边界的“AI 操作系统架构师”

扫描下方二维码,开启从 0 开始构建Agent Harness 的实战之旅。


还在为“复制粘贴喂AI”而烦恼?我的新专栏 《AI原生开发工作流实战》 将带你:

  • 告别低效,重塑开发范式
  • 驾驭AI Agent(Claude Code),实现工作流自动化
  • 从“AI使用者”进化为规范驱动开发的“工作流指挥家”

扫描下方二维码,开启你的AI原生开发之旅。


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。