- 整体技术架构
- 数据中台从组成上分为
- 1.微服务 ： 前端 + 后端 功能性代码（通过k8s + docker 进行一键式代码发布）
- 2.ambari HDP 大数据集群： 提供大数据组件 和 分布式存储功能
- 中台关于数据流通的整体设计如下
- 各种业务系统 通过 ETL（数据采集）工具 （内置的是datax和flink）进行数据采集，将数据写入到 大数据集群 提供的hive数仓中ods（数据贴源层）
- ods -> dwd -> dws 均为数仓内部分层，依据金博尔维度建模理论进行数仓建设，通过sql等各种脚本实现 数据流通，实现各种业务逻辑
- ads层为数据应用层。使用mysql数据库进行存储。
- 微品数据中台内置了一个 davinci可视化工具，通过读取ADS层mysql数据库中的数据，实现数据的可视化
- ads层还可以对外开放api，以及消息队列的形式将数据提供出去，作为数据服务
作者 admin
张宴银，大数据开发工程师