• 1.中台已有监控界面和功能(http://ningbo-dc.bdran.vpclub.cn/#/dataServiceMonitoring-dataQualityMonitoring)
    • IOCC数据中台
    • http://xxx:43825/#/login
    • admin/admin
    • flink任务的创建成功、失败状态统计
    • flink sql任务的运行监控
    • api任务监控
    • api服务监控
    • 数据订阅监控
    • 数据质量监控
    • kafka任务监控
    • 海豚调度器的master/worker服务器资源
  • 2.补充监控内容:(http://hdp1:3000/)
    • 1.集群资源监控(已完成初版)
      • 集群整体资源监控
    • 2.集群各台服务器资源监控(已完成初版)
      • 集群各主机资源监控
    • 3.集群服务监控(namenode,datanode,hdfs,yarn,hbase,hive)
      • namenode
      • datanode
      • HDFS
      • HBASE
        • hive(先使用ambari—metrics自带的监控信息来做图,整体方案确定之后再替换成监控特定组件的方式)
          • hive 分为hiveserver2 和hivedate
        • yarn(先使用ambari—metrics自带的监控信息来做图,整体方案确定之后再替换成监控特定组件的方式)
          • yarn分为nodemanager和resourcemanager
      • 3.待补充监控功能(iocc数据中台已有功能)
        • mysql数据库监控(这里的mysql数据库指的是hive的mysql元数据库吗,还是业务系统的存储数据库)
        • zookeeper监控
        • 统计管理
        • 数据预警
        • 服务连接监控
        • 对外接口监控
    • 4.根据中台产品风格,对grafana上的监控指标进行缩减,风格进行统一。对iocc上有的比较好的监控项进行补充

作者 admin

张宴银,大数据开发工程师

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注