AI 与湖仓一体化，2024 年数据库&湖仓发展与展望

时光荏苒，转眼间 2025 年已然来临，这又是我从传统 OLTP 数据库领域转向云原生湖仓 Databend 的第三个年头，这段转变恰如一场快速的旅程，让我深感这一年如飞箭般迅速。展望未来，我意识到，尽管数据库行业正面临明显的瓶颈，湖仓领域却蕴藏着无尽的潜力，而 AI 的崛起将进一步提高从业门槛。以下，我将从四个方面与大家分享我对 2024 年数据库 & 湖仓的回顾与思考：

  1. 数据库的发展现状

  2. 湖仓现状

  3. 行业观察

  4. 未来思考

数据库平台化趋势

在互联网行业，数据库的应用仍以 MySQL 为主。大部分公司已经实现了数据库的平台化或是云化，很多企业甚至已经拥有上万、10 万 + 级别的实例规模。在这种公司中，数据库技能已经完全平台化， 数据库大多处于一个微服务层的定位。他们早已完成数据库基础运维技术的积累，基于平台化运维实现了数据库自助上线、自动备份和半自动恢复，构建了数据零信任的完整体系。

早期，这类公司都有对应的数据库内核研发团队，从 2024 年起，对内部数据库内核团队减员增效成为一种趋势。

AI 对数据库的赋能

目前，AI 在数据库行业的应用，尤其是在比较成熟的近似度搜索和知识库整合方面，原创数据库产品加此类功能比较容易。例如， PingCAP 的黄东旭在会议上分享 TiDB 在 2 周内完成了相关功能的实现，Databend 的  Bohu Tang 也在一周内增加了近似度搜索能力。这种只需少量时间投入，就能让数据库或湖仓产品拥有一个向量检索能力，可以让产品快速迭代出 AI 能力，是一种非常值得的尝试。

Hadoop 的退场与湖仓一体化的崛起

Hadoop 时代正在快速退场，正如人们对“固定电话时代”的看法：虽然还能用，但如果坏了就不值得再修，有太多好用的产品可以替代它。随着 CloudOS 被越来越多人的接受，湖仓一体化时代已经到来。越来越多的产品宣称能够替代 Snowflake，其中以 Databricks、Databend 为代表的新兴产品，通过技术创新和高效的操作方式，正在重塑湖仓市场的格局。

2024 年，你可能会看到一个现象，任何一个湖仓产品都在宣称自己能够替换 Snowflake。然而，很多人对 Snowflake 仍停留在“听说过”的阶段 ，还不真正了解 Snowflake 。

互联网公司传统的湖仓平台已经从 Hadoop 转向了“Spark + Icberg(Hudi) + Painmon + Trino + kafka + Zookeeper + 元数据服务 + MySQL + 任务调度平台 ... ”。大数据从业人员也分为：基础架构平台（Java）工程师、数据加载清洗准备工程师（Spark 任务， Data X 任务， Java， Python）、数据使用工程师。其中，大数据工程师汇报时的 PPT 最丰富，架构最丰富，但也是报警及故障最多的部门。

相比这套复杂的技术栈，基于 Snowflake 的湖仓平台只需“ Snowflake  + 数据使用工程师”， 就 OK 了。No Java, No Python，所有一切都基于 SQL 操作，方便快捷。

Databend 产品基于 Rust 开发，从 0 到 1，以 Snowflake 为蓝本实现了一个开源的 Snowflake 替代方案，目前也是唯一个可以私有化部署的 Snowflake 替代产品。2024 年，该产品已经在海外金融和保险行业实现商用私有化部署。

湖仓一体化未来思路

目前来看，湖仓一体化在未来的整体思路是：

  1. 实现数据秒级接入可见，拥有强大的吞吐能力，支持每秒 500 万行 /S 以上的数据加载及卸载能力；

  2. 基于 SQL 操作；

  3. 强调 NoETL 特性；

  4. 支持离线计算和实时挖掘, 平台稳定性越来越重要；

  5. 数据少搬家或是不搬家，提供数据集市功能；

  6. 支持事务性操作，确保数据完整性和一致性；

  7. 支持结构化、半结构、非结构化、空间类数据融合；

  8. 易管理，易运维；

AI 与数据的交汇

AI 方向有着绝对的诱惑，文生图、文生视频、语音模仿都有着非常成熟的应用；其实反观：大模型就是一个强大的数据库，有着海量的数据和内容可供查询。 如果想在 AI 和数据方向搞创业，参考 Illumex 专心给大模型提供数据，应该还是一个不错的方向。

此外，AI 的成熟也让启发式 SQL 更快融入工作中， 对于数据库和分析型湖仓产品也有了更高的要求。

未来展望

2025 年将会加速这个市场的格局演变；AI 的势不可挡则蕴含了未来无限可能，要求从业者结合行业需求，最大化发挥 AI 的价值；湖仓一体时代已经到来，使高性能、易用性、稳定性和低成本的产品成为未来发展的关键词；此外，出海正成为国产创业公司生存和发展的必经之路。

展望未来，竞争的核心不仅仅依赖于技术的速度和性能，更在于如何为用户提供更便捷、更稳定的解决方案。我们应以开放的心态，迎接 AI 和信创带来的新变革，努力开辟更广阔的市场空间。让我们共同携手，迎接未来的挑战，以创新和合作驱动行业的进步与繁荣。