湖仓一体:小米集团基于 Apache Doris + Apache Paimon 实现 6 倍性能飞跃

2025年08月27日
阅读 6 分钟
1k
企业在数据驱动的道路上,始终面临一对核心矛盾:既需要低成本、可扩展的存储方案来承载海量结构化、半结构化乃至非结构化数据(这正是数据湖的强项),又渴望实时、低延迟的分析能力来支撑业务决策(这是分析型数据库的核心优势)。

驾驭 CPU 与编译器:Apache Doris 实现极致性能的底层逻辑

32 分钟前
阅读 14 分钟
18
过去 10 年,数据分析基准的成绩已经提升了数十倍。这种性能的提升造就了商业世界中更大的可能——从特定维度的 MOLAP 分析和周期报表,到随时随地从任意维度分析中发掘新范式的 Ad-hoc 查询,直到现在基于 Agent 派生出的复杂查询、高并发 + 高性能需求。基于日益实时、智能的 OLAP 引擎,企业的数据资产正在产生更大的价...
封面图

从 Greenplum 到 Doris:集群缩减 2/3、年省数百万,度小满构建超大规模数据分析平台经验

1 月 12 日
阅读 5 分钟
149
度小满金融(原百度金融)作为一家覆盖现代财富管理、支付、金融科技等多板块的科技公司,数据的分析处理对其极为重要,已经深度融入业务生命周期的每个环节,是进行风险控制、商业决策、用户体验优化及运营提效的基石。
封面图

5 倍性能提升,Apache Doris TopN 全局优化详解|Deep Dive

2025年12月30日
阅读 8 分钟
402
在日常的数据分析和业务报表中,TopN 查询几乎无处不在:无论是寻找销量最高的前十件商品,还是筛选访问量最多的前几条日志,开发者和数据分析师都在频繁处理"前 N 条数据"。然而,当表的列数达到百余或更多时,一个看似简单的 SELECT \* ... ORDER BY ... LIMIT N 查询,背后可能隐藏着巨大的性能瓶颈。尽管我们只关心某一...
封面图

Doris Catalog 已上线!性能提升 200x,全面优于 JDBC Catalog,跨集群查询迈入高性能分析时代

2025年12月26日
阅读 8 分钟
593
"统一"是 Apache Doris 长期以来秉持的设计理念之一。在这一理念指引下,构建完善的 Catalog 生态是实现异构数据源统一查询分析的关键。目前,Doris 已支持 Iceberg、Paimon、Hudi 等数据湖 Catalog,以及 JDBC Catalog,用户无需迁移数据,即可对不同数据湖和传统数据库进行联邦查询分析。
封面图

Apache Doris 4.0.2 版本正式发布

2025年12月22日
阅读 3 分钟
696
亲爱的社区小伙伴们,Apache Doris 4.0.2 版本已正式发布。此版本新增了在 AI & Search、函数、物化视图、Lakehouse 等方面的功能,并同步进行了多项优化改进及问题修复,欢迎下载体验!
封面图

Apache Doris AI 能力揭秘(四):HSAP 一体化混合搜索架构全解

2025年12月18日
阅读 12 分钟
713
AI 时代正在重塑数据库的角色。过去,数据库主要为人类分析者提供报表与查询能力;而现在,越来越多的查询来自智能代理(Agent),它们会自动检索知识、过滤数据、组合多种信号,并将数据库作为"实时信息源"支撑推理与决策。

较 Trino 省 67% 成本,速度快 10 倍,中通快递基于 SelectDB 的湖仓分析架构

2025年12月17日
阅读 4 分钟
524
导读:中通快递基于 SelectDB 构建了湖仓分析架构,补齐 OLAP 分析能力。在离线场景中,实现 2000+ QPS 并发点查;在实时场景中,仅以 1/3 原集群机器数量覆盖所有业务,90% 分析任务从 10 分钟缩短至 1 分钟内,投入产出比大幅提升。
封面图

面向 Agent 的高并发分析:Doris vs. Snowflake vs. ClickHouse

2025年12月12日
阅读 6 分钟
650
数据价值的不断升级,是过去三十年来数据库演进的核心驱动力。而 AI 的崛起,将这一需求推向新的高度:数据不仅要能被"看"到,更要能被"理解"和"创造"——这一点已在基于大语言模型(LLM)为核心的代码生成、智能对话等应用中得以验证。

浙江头部城商行:每日 700 万查询、秒级响应,Apache Doris 查算分离架构破局资源冲突

2025年12月09日
阅读 5 分钟
528
在当前银行业务全面线上化、实时化的驱动下,浙江省头部城商行亟需构建一个能够同时承载海量数据加工与高并发实时查询的数据平台,以支撑精准营销、实时风控和智能决策等关键业务。
封面图

Apache Doris 实时更新全解:从设计原理到最佳实践|Deep Dive

2025年12月04日
阅读 8 分钟
559
在数据驱动决策的今天,数据的"新鲜度"已成为企业在激烈市场竞争中脱颖而出的核心竞争力。传统的 T+1 数据处理模式,由于其固有的延迟,已无法满足现代商业对实时性的苛刻要求。无论是为了实现毫秒级的业务库与数据仓库同步、动态调整运营策略,还是为了在秒级内修正错误数据以保障决策的准确性,强大的实时数据更新能力...
封面图

云上数据安全新范式:Apache Doris IAM Assume Role 解锁无密钥访问 AWS S3 数据

2025年12月03日
阅读 3 分钟
450
长期暴露风险:静态 AK/SK 需硬编码于配置文件中,一旦因代码泄露、误提交或恶意窃取导致密钥扩散,攻击者可永久获得等同于密钥所有者的完整权限,引发持续性的数据泄露、资源篡改及资金损失风险;
封面图

字节跳动:Apache Doris + AI 一站式融合数据引擎的探索与实践

2025年12月03日
阅读 8 分钟
619
随着人工智能技术在业务中的渗透,我们逐渐意识到:AI 不仅是提升效率的工具,更是重构数据处理与消费方式的核心驱动力。在这一背景下,我们思考:能否构建一款「AI + Data」一站式融合的数据引擎? 它不仅能够统一处理文本、音视频等非结构化数据与传统结构化数据,还能为算法工程师提供流畅的数据开发体验,实现数据处...

Apache Doris 在小米统一 OLAP 和湖仓一体的实践

2025年12月02日
阅读 6 分钟
555
小米早在 2019 年便引入 Apache Doris 作为 OLAP 分析型数据库之一,经过五年的技术沉淀,已形成以 Doris 为核心的分析体系,并基于 2.1 版本异步物化视图、3.0 版本湖仓一体与存算分离等核心能力优化数据架构。本文将详细介绍小米数据中台基于 Apache Doris 3.0 的查询链路优化、性能提升、资源管理、自动化运维、可观...

宇信科技基于 SelectDB & Apache Doris 构建实时智能的银行经营分析平台

2025年11月28日
阅读 4 分钟
487
深耕银行 IT 建设领域 26 的年, 宇信科技服务超数百家金融机构,覆盖核心系统、渠道平台、风控中台等关键业务场景。其数据条线团队专注经营分析场景 20 余年,为城商行、农商行提供从报表系统到智能决策的全栈解决方案。随着银行业数字化进程步入深水区,宇信科技面临双重挑战:一方面,市场节奏的加快,让客户对"分钟...

上海证券 SelectDB 升级实践:湖仓流批一体落地与 Elasticsearch 全面替换

2025年11月28日
阅读 4 分钟
356
导读上海证券引入 SelectDB 作为核心实时分析引擎,有效弥补了实时数据处理与分析的能力短板,实现湖仓一体与流批一体,同时替换了原架构中的 Elasticsearch 组件。达成了写入性能提升 4 倍,支撑 1000+ QPS 高并发访问,关键决策响应速度 200 ms,开发效率提升 50%,运维成本大幅降低的关键收益。
封面图

Apache Doris 中的 Data Trait:性能提速 2 倍的秘密武器

2025年11月27日
阅读 8 分钟
490
在数据库系统的核心层,查询优化器如同一位精明的策略家,不断分析数据特征并制定最优执行计划。Apache Doris 作为一款高性能的 MPP 分析型数据库,其优化器内置的 Data Trait 分析机制,通过挖掘数据内在的统计特征和语义约束,为查询优化提供了基础设施。让我们一起来探索这个强大的功能!

压缩率提升 48%,详解 Apache Doris 存储压缩优化之道|Deep Dive

2025年11月25日
阅读 9 分钟
397
本文基于 ClickBench 数据集,展示了 Apache Doris 如何通过选择压缩算法、调整数据页大小与分桶数、优化编码策略以及改进数据排序来提升压缩效率。最终,相同数据集的压缩空间从 16.08 GB 降至 8.2 GB,压缩率提升 48.6%。通过合理的调整与优化,Doris 成功在保持查询性能的同时显著降低了存储成本。

深入理解 Doris Variant:如何让 JSON 查询性能追平列存,还能承载万列索引字段?|Deep Dive

2025年11月24日
阅读 9 分钟
417
摘要:在如 Snowflake、ElasticSearch、ClickHouse.... 等传统系统中,对于 JSON 的处理往往面临灵活性及性能无法兼得的困境,而 Apache Doris 的 VARIANT 类型,通过动态子列、稀疏列存储、延迟物化和路径索引等能力,实现了灵活结构 + 列存性能的平衡。本文将对该能力的实现一一讲解,全面展示其优势。

为什么实时更新场景下 Doris 查询性能是 ClickHouse 的 34 倍

2025年11月19日
阅读 10 分钟
611
在当今数据驱动的商业环境中,企业越来越依赖数据分析来驱动决策。无论是用户行为分析、业务报表还是运营监控,企业都需要具备快速、高效的数据处理能力。企业在数据分析能力上的演进,往往始于 TP(事务处理)系统,随着业务发展不断探索 TP 系统的扩展方案,最终走向构建独立的 AP(分析处理)系统。

从 Flink 到 Doris 的实时数据写入实践——基于 Flink CDC 构建更实时高效的数据集成链路

2025年11月19日
阅读 7 分钟
604
Flink-Doris-Connector 作为 Apache Flink 与 Doris 之间的桥梁,打通了实时数据同步、维表关联与高效写入的关键链路。本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现,并结合 Flink CDC 详细介绍了整库同步的解决方案,助力构建更加高效、稳定的实时数据处理体系。

Doris MCP Server 0.5.1 版本发布

2025年11月19日
阅读 1 分钟
476
近日,Doris MCP Server 0.5.1 版本带来了多项企业级数据治理与分析能力的功能升级,进一步提升系统稳定性与易用性,欢迎下载体验。

浩瀚深度:从 ClickHouse 到 Doris,支撑单表 13PB、534 万亿行的超大规模数据分析场景

2025年11月19日
阅读 6 分钟
529
浩瀚深度([SHA: 688292])旗下企业级大数据平台选择 Apache Doris 作为核心数据库解决方案,目前已在全国范围内十余个生产环境中稳步运行,其中最大规模集群部署于 117 个高性能服务器节点,单表原始数据量超 13PB,行数突破 534 万亿,日均导入数据约 145TB,节假日峰值达 158TB,是目前已知国内最大单表。凭借 Apache...

公开免费!Apache Doris & SelectDB 培训与认证课程正式上线

2025年11月19日
阅读 1 分钟
449
随着 Apache Doris 用户群体不断壮大,用户在学习和掌握该数据库过程中面临"缺乏系统性指导"的问题。无论是初次接触的新手,还是希望在特定场景深度应用的用户,均迫切需要一套从0到1、覆盖全面的学习路径。基于此需求,飞轮科技正式推出 Apache Doris & SelectDB 培训与认证体系,旨在帮助用户从理论到实践,逐步成长为...

Apache Doris 实时更新技术揭秘:为何在 OLAP 领域表现卓越?

2025年11月19日
阅读 9 分钟
573
过去那些"老派"的 OLAP 系统,只能批量处理账目,对实时性要求高的"流水账"就力不从心了。它们在面对高并发实时写入和复杂的分析查询时,常常会露出疲态,数据延迟、查询性能、并发处理和数据更新等问题层出不穷。

JSONBench 榜单排名第一! 10 亿条数据秒级响应

2025年11月19日
阅读 6 分钟
486
坦白讲,每次看性能测试排行榜,我都会下意识地先找找 Apache Doris 在哪个位置。这次打开 JSONBench 的榜单,心情一如既往的期待加紧张。好在结果让我松了一口气:默认配置下就能排到第三,仅次于维护方 ClickHouse 的两个版本。不过,Doris 只能止步于此了吗?经过一系列优化后,查询时长能不能再缩短点?和 ClickHous...

Apache Doris AI 能力揭秘(三):AI_AGG 与 EMBED 函数深度解析

2025年11月19日
阅读 18 分钟
558
在初步探索了 AI 函数的可能性之后,本次我们将目光投向两个更为核心的函数:AI_AGG 和 EMBED。我们将深入解析这两个函数的设计理念、实现原理及其在业务场景中的应用,展示 Apache Doris 如何通过原生的函数设计,将文本聚合与语义向量分析无缝集成到 SQL 中,为用户提供更强大、更易用的智能数据分析体验。
封面图

替换 ClickHouse,查询并发提升 7 倍!高途教育基于阿里云 SelectDB 构建秒级实时报表

2025年11月12日
阅读 3 分钟
529
高途教育引入阿里云 SelectDB 替换 ClickHouse、MySQL 作为核心分析引擎,统一支撑续班与行课实时分析等核心业务。通过阿里云 SelectDB MPP 架构与向量化查询引擎,结合 SelectDB 倒排索引、Bloom Filter 等丰富索引机制,实现亿级数据量秒级多表关联查询,在 700+ 高并发查询压力下 P99 延迟低于 200ms,稳定满足核心报...

Apache Doris Summit 2025 圆满收官,一文速览峰会高光时刻!

2025年11月12日
阅读 4 分钟
518
2025 年 11 月 5 日至 6 日,由飞轮科技主办的 Apache Doris Summit 2025 技术峰会圆满落下帷幕。本次峰会以 "Powering Real-Time Analytics & Search in the AI Era" 为主题,通过线上直播的形式,成功吸引了全球的 10 万+开发者、架构师和数据技术专家的参与。大家齐聚云端,共探 AI 时代背景下,数据价值释放的全新路...
封面图

Apache Doris 4.0.1 版本正式发布

2025年11月11日
阅读 2 分钟
617
亲爱的社区小伙伴们,Apache Doris 4.0.1 版本已于 2025 年 11 月 08 日正式发布。此版本聚焦核心模块的打磨与优化,在 AI & Search 方面实现了重要能力扩展,同时全面提升了 Lakehouse 与查询引擎的稳定性和性能。
封面图

AltStyle によって変換されたページ (->オリジナル) /