- 1.查看集群中的hbase占用磁盘空间数量 #怎么确定hbase占用的磁盘空间大小？
- [root@data-01-test ~]# hadoop fs -du -s -h /apps/hbase
- 54.3 K 4.5 G /apps/hbase
- [root@data-01-test ~]# hadoop fs -du -s -h /atsv2/hbase
- 23.5 G 72.1 G /atsv2/hbase
- [root@data-01-test ~]# hadoop fs -du -s -h /atsv2/hbase/data/data/default
- 23.5 G 70.6 G /atsv2/hbase/data/data/default
- 发现hbase确实占用近70G磁盘。pro环境占用37G磁盘。而自用集群hbase占用150M而已。
- 原因分析：1.hbase占用的磁盘空间大小取决于数据量大小不同？
- 2.取决于参数设置不同？
- 3.对比下是不是因为自用集群hbase内不含表？而云创环境有表？
- 核心问题：这部分hbase占用的磁盘空间能否清空释放？
- 2.查看三个不同环境中hbase具有的表的数量及相应数据量，并判断这些表是否可删除？这些表占用的磁盘空间与1中查出的大小是否吻合
- 3.关闭集群中的hbase组件，查看集群是否还能正常运行、
- 4.查询hbase在集群中的作用，看下这些磁盘空间占用是否为hbase提供的支撑性功能所必备的内容。以此判断这些hbase文件是否可删除
- 最终解决方案记录：
- pro环境应当是hbase的tmp文件被删除了，导致hbase无法重启。遂直接卸载了hbase服务，删掉了hbase在hdfs上的文件目录
- test环境上只删除了hbase的data文件夹下的数据文件。重启hbase成功，运行hive查询语句，未见异常。
作者 admin
张宴银，大数据开发工程师