在 12 月 14 日的 Doris Summit Asia 2024 上，Apache Doris 创始人 & PMC 成员马如悦在开场演讲中，围绕“现代化数据仓库”这一主题，指出 3.0 版本是 Apache Doris 研发路程中的重要里程碑，他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”，详细介绍了所对应的核心特性的设计思考与应用价值，揭晓了 2025 年社区发展蓝图。
最具影响力开源大数据项目之一
Apache Doris 自 2013 年创建至今已 10 年有余，截至目前，GitHub Stars 已近 13,000，社区的贡献者达到近 670 名，平均每月活跃贡献者超过 120 名。这一成就使其超越了 Spark、Kafka 等项目，成为开源大数据和数据库领域中月活开发者最多的项目。此外，Apache Doris 在所有 Apache 项目中官网浏览量稳居第一，2024 年 4 月网站 PV 高达 900w，可见其受欢迎程度。
全球中大型企业规模突破 5000 家
在 Apache Doris 技术持续创新与稳步发展下，越来越多的用户及企业选择并使用 Apahce Doris。我记忆犹新的是，2022 年时，Apache Doris 所覆盖企业规模不足千家，然而时隔仅 2-3 年，目前正在使用 Apache Doris 的中大型企业已突破 5000 家，并且不断有新的用户了解并尝试使用 Doris。这一迅猛增长得益于社区所有用户及开发者的反馈、建议及开发共建，同时也离不开其商业公司飞轮科技提供的技术驱动、用户维系和社区建设等全方位的支持。
这 5000 家企业覆盖范围十分广泛且多元化，包括金融、互联网、电信、游戏、交通物流、零售快消、能源制造等多个领域，并且正在不断拓展新的应用场景，这充分证明了 Apache Doris 的强大性能及广泛适用性。今天到场的许多嘉宾正是我们的用户，在接下来的议程中，他们也将带来精彩的主题演讲，期待能给更多人带来启发与洞见。
Real-Time，实时之路
随着工业 3.0 发展阶段的到来，数字技术已成为主流，企业正全面迈入实时分析时代。从以往批量报表转变为如今的实时仪表盘，从面向内部的分析扩展为面向外部的分析服务，从静态报表到交互式即时查询，从以人为中心到自动算法调用.....这些变化都对实时性提出了非常高的要求。
实时分析是 Apache Doris 最为基础且核心的特性之一。项目建立之初，大多数用户正是被 Doris 的实时性所吸引。如今，Apache Doris 的实时性无疑已成为业界的标杆。那么，Apache Doris 是如何实现如此强大的实时分析性能呢？
01 秒级实时数据写入
实时数据的核心在于确保数据的新鲜度和快速可见性。为实现这一目标，Apache Doris 在实时数据的导入与存储方面进行了大量优化，具体分为以下三部分：
秒级实时数据写入： 支持秒级的实时数据写入，能够通过高效的 StreamLoad 和 Insert Into 功能实现快速数据导入。此外，它还支持服务端的批量 Group Commit，提升数据高频实时写入的效率。同时，Doris 可自动从 Kafka 拉取数据，并支持数据库的 CDC、Flink 和 Spark 的实时数据导入，并均可实现秒级入库。
高性能数据更新： 引入基于 Merge-on-Write 的主键模型，该表模型在数据写入时即对需要删除或更新的数据进行标记，始终保证有效的主键只出现一个文件中。同时，Doris 也支持 UPSERT 操作，包括条件更新、条件删除和部分列更新，以及基于 Sequence 列的并发导入事务。这对于高频写入的场景来说，大大减少了查询执行时的额外消耗。
轻量级元数据变更： 支持轻量级的元数据变更操作，如更改列名、增加或删除值列，以及调整 Varchar 列的长度等。这些操作可在毫秒级别内完成，确保数据能够实时更新，满足实时性需求。
02 极速交互式分析性能
相较于事务型数据库，分析数据库则更注重交互式分析体验。为提供更好的交互性分析，Apache Doris 在性能上不断优化，包括对向量化引擎、基于 CBO 的优化器、丰富的索引支持、单表/多表物化视图以及在 ARM 架构下的深度优化等。在这些能力的加持下，Apache Doris 在测试集中表现优异：
在 ClickBench 测试中，Apache Doris 分别在 2022、2024 年 10 月，在榜单上领先所有工业界数据库 。
在 TPC-H 测试中，Apache Doris 在 Join 场景中表现优异，其性能约为 Greenplum 的 3 至 8 倍。
在 TPC-DS 测试中，结果显示 Apache Doris 性能较 Trino/Presto 提升了约 3 倍。
03 超大规模用户高并发查询
在数据量不断激增的当下，高并发查询的需求也愈发的明显。Apache Doris 在高并发查询方面进行多项优化，最终实现了单节点最高上万 QPS 的并发：
分区分桶裁减：采用 Partition、 Bucket 两级分区，通过 Hash 将数据打散至各个节点中，以此提升读取并行度和吞吐量。
主键索引 & 倒排索引： 提供丰富的索引结构来加速数据的读取和过滤。通过索引显著减少了需要扫描的行数，降低 CPU 和 IO 的压力，大幅提升了系统整体并发能力。
行列混存：引入行式存储格式，在数据服务场景中行存更为高效，可减少磁盘访问次数。用户可指定开启行存，点查时每行只需一次 IO，在宽表列较多的情况下性能有数量级提升。
点查短路径及预处理语句优化：实现了点查短路径优化，绕过查询优化器以及 PlanFragment 来简化 SQL 执行流程，直接使用快速高效的读路径来检索所需的数据。同时，FE 端支持与 MySQL 协议兼容的预处理语句，在 CPU 成为瓶颈时，Prepared Statement 可实现 4 倍以上的性能提升。
04 高可用架构设计
分析型数据仓库如今不仅为企业内部提供 BI 报表和分析，还广泛服务于外部客户及大量高并发用户。因此实时系统需要秒级数据入库和查询，且不允许停机维护。对于此，Apache Doris 的优势也十分明显：
简洁架构设计：采用简洁的架构设计，确保元数据节点（FE）和存储计算节点（BE）均无单点故障，确保在硬件故障时，服务能够持续运行而不受影响。
在线扩容与滚动升级：支持在线扩容和滚动升级，用户能够在不中断服务的情况下，灵活地调整计算资源和存储容量，极大地提升了系统的弹性，允许用户根据实际需求快速扩展。
数据自动均衡：系统提供数据自动均衡功能，确保数据在各节点间均匀分布，从而提升查询性能和资源利用率。
在线模式变更：用户可以在不停机的情况下动态增删索引，快速响应业务变化，灵活地调整数据结构以满足不同场景的需求。
存算分离支持：在 3.0 版本中引入了存算分离，可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离，计算和存储资源可以独立扩展，进一步提升了系统的灵活性和性能。
Unified，统一之路
在大数据分析领域，企业面临着多样化的分析需求，往往需要部署多个工具或技术来应对不同场景。这种做法往往导致组件繁多、运维成本高昂、数据链路冗长以及数据重复存储等诸多问题。
数据仓库几经发展，逐步从传统数据仓库演变为大数据平台/数据湖，如今又迎来了现代化数据仓库，对应的架构也在发生着变化。底层数据源类型从传统的结构化数据扩展为多种半结构化数据；中间层从 ETL、数据仓库、数据湖相互独立演变为相互融合；顶层则引入了数据科学、机器学习和人工智能应用。这些演变都对数据处理的时效性、灵活性与效率提出更高的要求。
在这样的背景下，Doris 作为现代化统一数据仓库，能够有效应对多样的分析场景。其 All-In-One 的设计理念不仅简化了数据的使用和管理，还使企业将精力从复杂的数据基础设施管理转向上层的数据应用。
01 湖仓无界
"湖仓无界"，即 Lakehouse，是数据领域的全新概念。Apache Doris 作为一款现代化的数据仓库，凭借其独特的架构，完美诠释了这一理念。而 Apache Doris 之所以能被称为 Lakehouse，主要得益于其两大特性：
联邦查询能力：Apache Doris 通过扩展 Catalog 和存储插件，使用户无需将数据物理集中至统一的存储空间，在保持各数据源独立性的同时，仅借助 Apache Doris 即可实现多个异构数据源的统一分析，既可以直查外部表以及存储文件、也可以执行内表和外表以及外表相互之间的关联分析。此外。目前 Apache Doris 已经支持了 10 余种主流湖、仓、关系型数据库的连接器。
开放的数据湖特性：Apache Doris 引入高吞吐读写 API，也称之为 Data API 或 Storage API。打破了数据封闭性，使外部引擎能直接、高效地访问和存储 Doris 中的数据，无需受限于造成性能瓶颈的 JDBC/ODBC 协议。
02 半结构化数据分析
2024 年，我们注意到一个显著的趋势，将近一半的 Elasticsearch 使用者倾向于采用 Apache Doris 来替代 Elasticsearch。尽管 Elasticsearch 在半结构化数据分析领域占有一席之地，但随着 Apache Doris 的持续突破，正逐步成为未来半结构化数据分析的核心引擎。这一转变主要归功于三大关键点：
复合数据类型：支持 Array、Map、Struct、JSON 复合数据类型，常用于用户行为和画像分析、点查、查询数据湖中 Parquet ORC 等格式数据的场景。
Variant 数据类型：支持 Variant 数据类型，支持存储半结构化数据以及包含不同数据类型（如整数、字符串、布尔值等）的复杂数据结构，无需提前在表结构中定义具体的列。擅长处理复杂多变的嵌套结构，可自动推断列信息并合并到现有 Schema，支持动态子列的存储。同时，表中可以同时包含灵活的 Variant 列和静态列，提供更大的存储和查询灵活性。相较于 JSON 类型，存储空间减少了约 65%，查询速度提升超 10 倍。
String 数据类型：优化了正则匹配和子串匹配算法，引入了 NGram BloomFilter，提升了使用 LIKE 语句时的查询速度；同时，通过倒排索引，对文本进行细粒度分词，使得用户可以使用 MATCH 等相关语句，实现文本快速检索。
03 存算一体
在存算一体时代，Apache Doris 便提供了弹性资源管理功能，先是推出了基于资源标签（Resource Tag）的物理隔离方案，后在 2.1 版本中推出了 Workload Group 管理方案，能够基于 CGroup 技术在每台机器上实现 CPU 资源的硬限和软限。在存储方面也很早便实现了冷热分层策略，热数据存储在成本更高的 SSD 盘上，而冷数据则存储在相对低成本的 HDD 盘甚至更为廉价的对象存储上，保存方式也从多副本变为单副本，冷数据无需占用宝贵的本地机器资源，从而避免了因扩充容量而购买更多机器的需求。
2025，探索更多可能性
在非功能需求上，Apache Doris 将全力投入于三个方向持续发力：
更优：提升导入性能，将查询性能从秒级提升为亚秒级，为保持全球查询性能第一的位置而持续发力。
更稳：实行更加严格的版本迭代策略，三位版本将不再引入新 Feature，专注于 Bug 的修复，并加强更多测试覆盖。实现内核插件化，基于插件化引入新功能与周边功能。
更易用：对于配置较为复杂的参数，未来将努力简化参数配置，并提升产品文档质量，完善周边生态工具，以增强用户使用体验。