腾讯云离线数仓与在线数仓解决方案
数仓建设绕不开一个基本问题:要 T+1 的准确,还是要秒级的时效。两者不是替代关系,而是同一条数据链路上的两种产出方式——离线数仓负责”算得准、口径统一、可追溯”,在线(实时)数仓负责”看得快、能干预、可反馈”。腾讯云在这两条链路上都有对应的托管产品,也可以通过数据湖把两者收敛成一套湖仓架构。
1. 离线数仓 vs 在线数仓
Section titled “1. 离线数仓 vs 在线数仓”| 维度 | 离线数仓(Batch) | 在线 / 实时数仓(Streaming) |
|---|---|---|
| 时效 | T+1、小时级 | 秒级 ~ 分钟级 |
| 计算模式 | 批量调度,全量或增量重算 | 常驻流任务,逐条/微批处理 |
| 典型引擎 | EMR(Hive/Spark)、DLC(Serverless Spark) | Oceanus(Flink) |
| 典型存储 | COS 数据湖 + HDFS/CHDFS + TCHouse | TCHouse-C/D/P、ES、CKafka |
| 数据特点 | 数据量大、可重跑、允许延迟 | 数据持续到达、要求低延迟与 exactly-once |
| 主要风险 | 任务堆积、口径漂移、成本失控 | 数据延迟、乱序重复、反压与状态膨胀 |
| 典型场景 | 经营报表、财务对账、监管报送、用户画像 | 实时风控、实时推荐、大促盯盘、实时告警 |
2. 腾讯云相关产品底座
Section titled “2. 腾讯云相关产品底座”| 层次 | 产品 | 在数仓中的角色 |
|---|---|---|
| 数据集成 | DataInLong 数据集成 | 多源异构数据的离线/实时同步与任务编排 |
| 数据接入 | DTS 数据传输服务 | 数据库结构迁移与增量订阅,把变更投递到 Kafka 或数仓 |
| 消息缓冲 | CKafka 消息队列 | 削峰填谷、多路消费、分区有序与回溯重放 |
| 实时计算 | 流计算 Oceanus | 基于 Flink 的实时 ETL、窗口聚合、CEP 与实时指标 |
| 离线计算 | EMR 弹性 MapReduce | Hive/Spark/Presto 等泛 Hadoop 组件,PB 级批量计算 |
| 湖上计算 | DLC 数据湖计算 | Serverless Spark/Presto,存算分离、按量付费 |
| 实时数仓 | TCHouse-C | ClickHouse 内核,亚秒级聚合与明细查询 |
| 实时数仓 | TCHouse-D | Doris 内核,高并发点查与联邦查询 |
| 云数仓 | TCHouse-P | 兼容 PostgreSQL 的 MPP 数仓,混合负载 |
| 检索分析 | Elasticsearch Service | 日志检索、全文搜索与向量检索场景 |
| 数据湖存储 | COS 对象存储 | 贴源数据、明细与归档的统一低成本底座 |
| 智能数据湖 | TCLake | 多模态数据湖,湖仓一体与元数据统一管理 |
| 开发治理 | WeData 数据开发治理平台 | 开发、调度、质量、血缘、权限与指标口径 |
| 数据分析 | 腾讯云 BI | 报表、自助分析、大屏与 ChatBI |
| 私有化 | TBDS 大数据处理套件 | 私有化/混合云部署的一站式大数据平台 |
3. 离线数仓方案
Section titled “3. 离线数仓方案”点击架构图可全屏查看,支持滚轮缩放与拖动平移。
官方推荐的典型组合是 WeData + EMR:由 WeData 提供数据集成与开发调度能力,把业务侧数据汇聚到数据湖,再由 EMR 承担 PB 级计算,最后用 WeData 统一做安全、质量与口径治理。
3.1 链路说明
Section titled “3.1 链路说明”- 数据接入:业务库、日志文件、第三方数据通过 DataInLong 或 WeData 数据集成做全量 + 增量同步,落地到 COS 贴源层;需要复用 Hadoop 生态的场景可落在 CHDFS/HDFS。
- 存储分层:COS 作为统一数据湖底座,配合生命周期规则把冷数据转低频/归档,控制长期存储成本。
- 批量计算:EMR 负责 Hive/Spark 批处理与复杂转换;临时性、突发性的分析任务可交给 DLC,用 Serverless 方式避免为峰值常备集群。
- 分层建模:按 ODS → DWD → DWS → ADS 组织,ODS 保留原始明细以便重跑,DWD 做清洗与规范化,DWS 输出主题宽表,ADS 面向具体报表与接口。
- 对外服务:腾讯云 BI 直连 TCHouse 做高并发查询;需要系统对接时通过数据 API 或数据订阅输出。
3.2 落地要点
Section titled “3.2 落地要点”- 可重跑是底线:ODS 层必须保留原始数据,任务失败能按分区重跑,别在接入环节就做不可逆清洗。
- 调度依赖要显式:在 WeData 中用依赖关系而不是”时间差”保证执行顺序,跨天任务尤其如此。
- 小文件治理:日志类数据写入 COS 时按小时/天合并,避免小文件拖垮后续 Spark 任务。
- 成本与弹性:稳定负载用包年包月 EMR,波峰负载用 DLC 或弹性伸缩,两者混用通常比单一方案更省。
- 口径统一:指标定义、维度字典放在 WeData 统一管理,避免每个报表各写一套 SQL。
4. 在线(实时)数仓方案
Section titled “4. 在线(实时)数仓方案”点击架构图可全屏查看,支持滚轮缩放与拖动平移。
官方推荐的典型组合是 DataInLong/Oceanus + 云数据仓库(TCHouse-C/D/P):Oceanus 做实时数据处理,TCHouse 系列承担 OLAP 查询,并以轻量化、低成本、可弹性伸缩的方式构建实时数仓。
4.1 链路说明
Section titled “4.1 链路说明”- 变更捕获:业务库通过 DTS 增量订阅或 DataInLong 实时同步,把 binlog/oplog 投递到 CKafka,实现与源库解耦。
- 实时计算:Oceanus(Flink)消费 Kafka,完成清洗、维表关联、窗口聚合与去重,输出实时明细与指标。
- 实时存储:明细与大宽表写 TCHouse-C(亚秒聚合)或 TCHouse-D(高并发点查、联邦查询);日志与检索类需求走 Elasticsearch。
- 服务输出:BI 直连、数据 API、大屏推送、在线应用回调,把实时结果直接反馈到业务动作上。
- 明细回流:把实时明细同步回 COS/TCLake,供离线链路复用同一份 ODS,形成湖仓一体。
4.2 落地要点
Section titled “4.2 落地要点”- 一致性:开启 Checkpoint 并使用 Exactly-Once 语义;下游写入需幂等(主键去重或 upsert)。
- 乱序与重复:用事件时间 + Watermark 处理乱序,用主键/版本号处理重复,别假设消息”只来一次”。
- 维表关联:小维表用广播状态或本地缓存,大维表走 TCHouse/Redis 点查,避免每条流都打数据库。
- 延迟与反压:对消费延迟、Checkpoint 时长、反压指标设置告警,先扩并行度再考虑加资源。
- 状态管理:控制状态大小与 TTL,避免长周期窗口把状态撑爆;升级作业前确认 Savepoint 兼容。
- 口径对齐:实时与离线共用 DWD 定义与指标口径,否则同一个”日活”会出现两个数。
5. 怎么选、怎么组合
Section titled “5. 怎么选、怎么组合”| 业务诉求 | 推荐组合 |
|---|---|
| 报表、对账、监管报送,允许 T+1 | WeData + EMR + COS(必要时叠加 TCHouse-P) |
| 临时分析与探索式查询多、预算敏感 | DLC + COS 数据湖,按量计费 |
| 实时风控、实时推荐,秒级响应 | DTS/CKafka + Oceanus + TCHouse-C/D |
| 高并发点查与多维分析并存 | TCHouse-D + TCHouse-C 分层承载 |
| 日志检索、全文/向量检索 | Elasticsearch Service + COS |
| 私有化/混合云、信创要求 | TBDS + EMR/TCHouse 私有化部署 |
| 既要实时又要口径统一 | 实时链路 + 明细回流 COS/TCLake,离线复用同一份 ODS |
5.1 湖仓一体:把两条链路收敛
Section titled “5.1 湖仓一体:把两条链路收敛”比较务实的做法不是”二选一”,而是 Kappa + Lambda 混合:
- 实时链路保证时效,负责监控、告警、在线决策;
- 明细数据回流数据湖,离线链路做重算、补数、审计与长周期分析;
- 两条链路共享同一份 ODS 和同一套指标定义,实时结果可以用离线结果做校验与对账。
6. 成本与治理建议
Section titled “6. 成本与治理建议”- 存储分层:COS 标准 → 低频 → 归档,配合 EMR 存算分离,把冷数据从计算集群里挪出去。
- 计算按需:稳定批处理用包年包月,波峰与临时任务用 DLC/弹性伸缩,实时作业按 CU 规划并留出反压余量。
- 治理先行:上线前就把元数据、血缘、质量规则、权限模型建好,事后补治理的成本远高于事前设计。
- 可观测性:离线看任务成功率、产出时间、数据量波动;实时看延迟、反压、Checkpoint 与脏数据比例。