- 1.简要说明大数据项目都在做什么
- 数据流图
- 图解说明：
- 大数据项目离不开上述步骤，归根结底，所有的大数据项目都是在进行海量数据的 ‘数据接入’ -》 ‘数据存储’ -》‘数据处理’ -》 ‘数据使用’ 这四个步骤
- 数据接入部分： 将各种业务系统的数据传输给大数据平台，通常使用各种数据采集工具实现
- 数据存储部分： 从各种业务系统中获取的数据，需要存储在大数据的数据仓库中。通常采用维度建模理论来规划数据仓库，规划好数据应当如何存储。
- 数据处理部分： 使用大数据集群的算力，进行海量数据的处理和计算
- 数据使用部分： 经过大数据集群处理后的数据，有哪些常见用法。通常是将计算好的数据 通过可视化工具展示或者通过开放API的形式将数据按需提供给使用方，使用方自行决定如何使用数据。
- 数据流图
- 2.一起思考大数据项目流程中存在哪些问题
- 数据接入部分：
- 每个业务系统的数据库都有自己的连接信息，如何统一管理所有集团内业务系统的数据库连接信息？
- 业务系统用于存储数据的数据库多种多样，不同的数据库需要使用不同的采集工具进行采集，能否选用尽可能少的采集工具实现数据采集的需求？
- 不同的采集工具用法不一样，且均需要一定的编码能力，能否将采集工具低代码化，降低使用门槛，提高生产效率
- 数据存储部分
- 各种业务系统的数据均接入数据仓库之后，怎样管理这些数据资产？
- 数据太多，为方便后续的数据处理，应当如何规划数据存储？
- 数据处理部分
- 海量数据处理时，有非常复杂的计算逻辑。
- 怎么监控任务运行成功还是失败？
- 怎么定位工作流节点中哪一个节点运行失败？
- 怎么让庞大且复杂的数据处理系统自己运行起来?
- 海量数据处理时，有非常复杂的计算逻辑。
- 数据使用部分
- 怎样才能更简单的将数据用起来？
- 数据接入部分：
- 3.说明我们解决了哪些问题
- 4.引入数据中台功能模块讲解
- 5.实操模拟和技术细节讲解
- 6.问题答疑
作者 admin
张宴银，大数据开发工程师