查看原文
其他

开源 OLAP 技术百花齐放,企业应该如何选型?

DataFunTalk
2024-09-10

开源 OLAP 项目在大数据分析领域扮演着重要角色,它们提供了强大的数据处理和分析能力。知名的开源 OLAP 项目包括 Presto、ClickHouse、Doris、Trino、Kylin、Impala 和 Druid 等。这些项目各具特色,如 Presto 和 Trino 为分布式查询引擎,ClickHouse 提供高性能列式存储,Kylin 适合多维分析,Impala 依赖 kudu 或 Hive 进行快速查询,而 Druid 则专注于实时数据存储与分析。这些开源 OLAP 项目各有特点和优势,共同构成了开源 OLAP 领域的丰富生态,满足不同场景下的数据处理和分析需求。

用户可以根据自身的业务需求、技术栈兼容性、社区支持度等因素进行选择。同时,这些项目也在不断地顺应时代更新和发展,为用户提供更加灵活、高效和可靠的数据处理解决方案。

在即将于 6 月 15 日举办的以「大模型时代的 OLAP 技术演进」为主题的第 58 届 DataFunSummit:OLAP 架构线上峰会中,「开源OLAP技术」分论坛将带你来看头部厂商和开源项目社区如何做的!精彩内容,扫码报名,免费参会。

扫码报名,免费参会

开源OLAP引擎解读新趋势

本次分论坛出品人李呈祥老师,现就职于哔哩哔哩 。李老师有着十多年的大数据和分布式系统研发经验,目前在哔哩哔哩负责 OLAP 平台的建设。在此之前他曾在 Intel,唯品会和阿里云参与或负责大数据平台及内核的研发工作,他是 Apache Hive 和 Apache Flink 项目的 Committer。他对于开源OLAP技术选型有着独特的见解与思考,相信在李老师的引领下,本场论坛会给各位听众带来不一样的内容感受,也希望能够给抉择期的企业带来一些启发和建议。除了B站,还有来自腾讯云、Apache SeaTunnel等行业专家带来丰富的实践经验分享。

演讲题目:B站基于Trino 的湖仓查询引擎深度优化实践

演讲嘉宾:杨金德,哔哩哔哩高级开发工程师。2021 年毕业于德克萨斯大学奥斯汀分校,现就职于 B站基础架构部 OLAP 平台组,从事湖仓一体方向的研发
演讲提纲:

1.  B站湖仓一体平台现状 

2.  基于 Iceberg 的查询性能优化 

3.  Trino 查询稳定性优化

4.  未来规划

听众收益:

1.  如何在 Trino 上实现 Iceberg 表查询的秒级响应?

2.  如何提高 Trino 查询的稳定性?


演讲题目:TCHouse-C 实时数据更新的技术选型与工程实践

演讲嘉宾:彭健,腾讯云 TCHouse-C 研发技术负责人,热衷开源项目,是知名开源项目 ClickHouse、ScyallDB 代码贡献者。

演讲摘要:腾讯云数据仓库 TCHouse-C 是腾讯云提供的全托管 ClickHouse 服务。在大数据实时分析领域,实时可更新数据的分析需求日益广泛,而社区现有方案在性能和易用性等方面都难以令人满意。TCHouse-C 全新推出了一种高性能实时数据更新方案,旨在满足高频数据实时去重及轻量级部分列更新场景的需求。在工程实践中面临着海量数据、高可用、一致性以及极致性能方面的挑战。腾讯云 TCHouse-C 的实时数据更新方案解决用户数据可更新需求。后续工作将在现有基础之上,提升点查询性能。本次分享将围绕以上问题分享具体的技术选型思路和工程实践经验。

演讲提纲:

1.  TCHouse-C 与业务背景介绍

2.  TCHouse-C 在技术选型上的思考

3.  工程实践经验分享

4.  总结与未来规划

听众收益:

1.  了解基于 ClickHouse 实现数据实时更新方案以及工程细节

2.  了解腾讯云数据仓库 TCHouse-C 的架构设计心得和未来规划


演讲题目:Apache SeaTunnel——OLAP 引擎的数据动脉

演讲嘉宾:高俊,近 10 年的大数据行业研发和管理经验,开源社区的积极贡献者,Apache Soft Foundation(ASF) Member,Apache DolphinSche duler PMC,Apache SeaTunnel PMC Chair,Trino/Presto Contributor。

演讲摘要:Apache SeaTunnel是一个分布式、高性能、易扩展的数据集成平台,用于海量数据的同步和转化。在本次分享中,你将深入了解 SeaTunnel 的设计目标、基本功能,其在离线批和实时 CDC 场景下同步数据到 OLAP 引擎的实践经验,以及社区近期规划,助力高效数据集成。

演讲提纲:

1.  Apache SeaTunnel 项目简介

2.  Apache SeaTunnel 在离线批场景下同步数据到 OLAP 引擎

3.  Apache SeaTunnel 实时 CDC 同步数据到 OLAP 引擎

4.  社区近期规划

听众收益:

1.  了解新一代数据集成工具 SeaTunnel 的设计目标和理念

2.  了解 SeaTunnel 在数据集成场景下的基本功能

3. 了解 SeaTunenl 与 OLAP 引擎结合的场景,SeaTunnel 如何高效地为 OLAP 持续不断地提供数据

本次峰会还策划了云原生数仓、生成式 AI 在 OLAP 的应用、Lakehouse 湖仓一体化架构、实时数仓以及极致能效 OLAP 等分论坛,所有论坛都将全程直播,识别下方二维码即可免费报名参会。

欢迎扫描上方二维码或点击「阅读原文」报名收看,一起了解大模型时代的 OLAP 技术趋势。
继续滑动看下一个
DataFunTalk
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存