跳转到内容

腾讯云离线数仓与在线数仓解决方案

数仓建设绕不开一个基本问题:要 T+1 的准确,还是要秒级的时效。两者不是替代关系,而是同一条数据链路上的两种产出方式——离线数仓负责”算得准、口径统一、可追溯”,在线(实时)数仓负责”看得快、能干预、可反馈”。腾讯云在这两条链路上都有对应的托管产品,也可以通过数据湖把两者收敛成一套湖仓架构。

维度 离线数仓(Batch) 在线 / 实时数仓(Streaming)
时效 T+1、小时级 秒级 ~ 分钟级
计算模式 批量调度,全量或增量重算 常驻流任务,逐条/微批处理
典型引擎 EMR(Hive/Spark)、DLC(Serverless Spark) Oceanus(Flink)
典型存储 COS 数据湖 + HDFS/CHDFS + TCHouse TCHouse-C/D/P、ES、CKafka
数据特点 数据量大、可重跑、允许延迟 数据持续到达、要求低延迟与 exactly-once
主要风险 任务堆积、口径漂移、成本失控 数据延迟、乱序重复、反压与状态膨胀
典型场景 经营报表、财务对账、监管报送、用户画像 实时风控、实时推荐、大促盯盘、实时告警
层次 产品 在数仓中的角色
数据集成 DataInLong 数据集成 多源异构数据的离线/实时同步与任务编排
数据接入 DTS 数据传输服务 数据库结构迁移与增量订阅,把变更投递到 Kafka 或数仓
消息缓冲 CKafka 消息队列 削峰填谷、多路消费、分区有序与回溯重放
实时计算 流计算 Oceanus 基于 Flink 的实时 ETL、窗口聚合、CEP 与实时指标
离线计算 EMR 弹性 MapReduce Hive/Spark/Presto 等泛 Hadoop 组件,PB 级批量计算
湖上计算 DLC 数据湖计算 Serverless Spark/Presto,存算分离、按量付费
实时数仓 TCHouse-C ClickHouse 内核,亚秒级聚合与明细查询
实时数仓 TCHouse-D Doris 内核,高并发点查与联邦查询
云数仓 TCHouse-P 兼容 PostgreSQL 的 MPP 数仓,混合负载
检索分析 Elasticsearch Service 日志检索、全文搜索与向量检索场景
数据湖存储 COS 对象存储 贴源数据、明细与归档的统一低成本底座
智能数据湖 TCLake 多模态数据湖,湖仓一体与元数据统一管理
开发治理 WeData 数据开发治理平台 开发、调度、质量、血缘、权限与指标口径
数据分析 腾讯云 BI 报表、自助分析、大屏与 ChatBI
私有化 TBDS 大数据处理套件 私有化/混合云部署的一站式大数据平台
腾讯云离线数仓解决方案架构

点击架构图可全屏查看,支持滚轮缩放与拖动平移。

官方推荐的典型组合是 WeData + EMR:由 WeData 提供数据集成与开发调度能力,把业务侧数据汇聚到数据湖,再由 EMR 承担 PB 级计算,最后用 WeData 统一做安全、质量与口径治理。

  1. 数据接入:业务库、日志文件、第三方数据通过 DataInLong 或 WeData 数据集成做全量 + 增量同步,落地到 COS 贴源层;需要复用 Hadoop 生态的场景可落在 CHDFS/HDFS。
  2. 存储分层:COS 作为统一数据湖底座,配合生命周期规则把冷数据转低频/归档,控制长期存储成本。
  3. 批量计算:EMR 负责 Hive/Spark 批处理与复杂转换;临时性、突发性的分析任务可交给 DLC,用 Serverless 方式避免为峰值常备集群。
  4. 分层建模:按 ODS → DWD → DWS → ADS 组织,ODS 保留原始明细以便重跑,DWD 做清洗与规范化,DWS 输出主题宽表,ADS 面向具体报表与接口。
  5. 对外服务:腾讯云 BI 直连 TCHouse 做高并发查询;需要系统对接时通过数据 API 或数据订阅输出。
  • 可重跑是底线:ODS 层必须保留原始数据,任务失败能按分区重跑,别在接入环节就做不可逆清洗。
  • 调度依赖要显式:在 WeData 中用依赖关系而不是”时间差”保证执行顺序,跨天任务尤其如此。
  • 小文件治理:日志类数据写入 COS 时按小时/天合并,避免小文件拖垮后续 Spark 任务。
  • 成本与弹性:稳定负载用包年包月 EMR,波峰负载用 DLC 或弹性伸缩,两者混用通常比单一方案更省。
  • 口径统一:指标定义、维度字典放在 WeData 统一管理,避免每个报表各写一套 SQL。
腾讯云在线(实时)数仓解决方案架构

点击架构图可全屏查看,支持滚轮缩放与拖动平移。

官方推荐的典型组合是 DataInLong/Oceanus + 云数据仓库(TCHouse-C/D/P):Oceanus 做实时数据处理,TCHouse 系列承担 OLAP 查询,并以轻量化、低成本、可弹性伸缩的方式构建实时数仓。

  1. 变更捕获:业务库通过 DTS 增量订阅或 DataInLong 实时同步,把 binlog/oplog 投递到 CKafka,实现与源库解耦。
  2. 实时计算:Oceanus(Flink)消费 Kafka,完成清洗、维表关联、窗口聚合与去重,输出实时明细与指标。
  3. 实时存储:明细与大宽表写 TCHouse-C(亚秒聚合)或 TCHouse-D(高并发点查、联邦查询);日志与检索类需求走 Elasticsearch。
  4. 服务输出:BI 直连、数据 API、大屏推送、在线应用回调,把实时结果直接反馈到业务动作上。
  5. 明细回流:把实时明细同步回 COS/TCLake,供离线链路复用同一份 ODS,形成湖仓一体。
  • 一致性:开启 Checkpoint 并使用 Exactly-Once 语义;下游写入需幂等(主键去重或 upsert)。
  • 乱序与重复:用事件时间 + Watermark 处理乱序,用主键/版本号处理重复,别假设消息”只来一次”。
  • 维表关联:小维表用广播状态或本地缓存,大维表走 TCHouse/Redis 点查,避免每条流都打数据库。
  • 延迟与反压:对消费延迟、Checkpoint 时长、反压指标设置告警,先扩并行度再考虑加资源。
  • 状态管理:控制状态大小与 TTL,避免长周期窗口把状态撑爆;升级作业前确认 Savepoint 兼容。
  • 口径对齐:实时与离线共用 DWD 定义与指标口径,否则同一个”日活”会出现两个数。
业务诉求 推荐组合
报表、对账、监管报送,允许 T+1 WeData + EMR + COS(必要时叠加 TCHouse-P)
临时分析与探索式查询多、预算敏感 DLC + COS 数据湖,按量计费
实时风控、实时推荐,秒级响应 DTS/CKafka + Oceanus + TCHouse-C/D
高并发点查与多维分析并存 TCHouse-D + TCHouse-C 分层承载
日志检索、全文/向量检索 Elasticsearch Service + COS
私有化/混合云、信创要求 TBDS + EMR/TCHouse 私有化部署
既要实时又要口径统一 实时链路 + 明细回流 COS/TCLake,离线复用同一份 ODS

比较务实的做法不是”二选一”,而是 Kappa + Lambda 混合:

  • 实时链路保证时效,负责监控、告警、在线决策;
  • 明细数据回流数据湖,离线链路做重算、补数、审计与长周期分析;
  • 两条链路共享同一份 ODS 和同一套指标定义,实时结果可以用离线结果做校验与对账。
  1. 存储分层:COS 标准 → 低频 → 归档,配合 EMR 存算分离,把冷数据从计算集群里挪出去。
  2. 计算按需:稳定批处理用包年包月,波峰与临时任务用 DLC/弹性伸缩,实时作业按 CU 规划并留出反压余量。
  3. 治理先行:上线前就把元数据、血缘、质量规则、权限模型建好,事后补治理的成本远高于事前设计。
  4. 可观测性:离线看任务成功率、产出时间、数据量波动;实时看延迟、反压、Checkpoint 与脏数据比例。