- 1.每台服务器磁盘空间均只剩下10%。问题排查，var目录只占12G,与之前的部署人员沟通，说是在pg_log文件下存储着日志记录。如下图，发现只占2.5G.故根本原因还是在datanode数据暴增上面。每日新增1G具体原因 如何定位？
- 2.给鸿荣源搭建web端管理pg分布式集群的方案
- 3.查找鸿荣源服务器上的所有配置文件信息所在位置。先找下网上的相关文档
- 经来哥排查发现，鸿荣源数据量暴增原因在于使用了delete语法且进行了频繁调度 。使得鸿荣源数仓单节点每日新增数据量15G
- 解决方案delete和truncate的区别 – 韦邦杠 – 博客园 (cnblogs.com)
- 1.将 delete from xxx 全量删除语句修改为truncate table xxx
- 2.降低调度频率
- 3.排查并解除之前的rollback文件对数仓存储空间的占用。（需要安排时间处理）
- vacumm 清理回收已删除数据占用的磁盘空间
- PostgreSQL 自动清理_w3cschool
- (311条消息) postgresql如何优雅地清理磁盘空间碎片VACUUM_人工智的博客-CSDN博客_postgresql 清理空间
- 对鸿荣源历史每日新增数据量进行监控发现如下图形规律
- 每日新增磁盘使用量不一致原因分析
- 1.每日调度的工作流数量不一致，有明显的 单双起伏波动规律
- 2.每日上游来的数据量总和数量存在波动
- 3.pg数仓在自动vacumm清理回收已删除数据 占用的 磁盘空间，此时正在释放的 表会占用双倍磁盘空间，直到释放完毕
- 4：
- 101节点磁盘空间使用量明显为datanode节点的双倍，是何原因？
作者 admin
张宴银，大数据开发工程师