BigData

张某人的学习积累

大数据集群

ambari-规范化部署流程及操作步骤（超详细）

作者admin

6 月 11, 2024
  • 设置主机别名和配置hosts文件
    • hostnamectl set-hostname “主机名”
    • vim/etc/sysconfig/network
    • vim /etc/hosts
  • 1.ssh各节点互通
    • ssh-keygen -t rsa 不停按回车就可以生成密钥了
    • Hdp0免密登录hdp1的方法 在hdp0的服务器上执行ssh-copy-id hdp1
  • 2.确认华为云 服务器 自带防火墙 关闭功能 ，senluex关闭ssh
  • 3.每台服务器自带时间同步
  • 4.每台服务器 安装 jdk
    • 把jdk的文件夹放到某个地址后
    • vim /etc/profile
    • —
    • export JAVA_HOME=/usr/local/java/jdk1.8.0_241
    • PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
    • —
    • source /etc/profile
  • 5.安装离线本地yum源
    • 安装httpd
    • yum install -y httpd
    • service httpd start
    • chkconfig httpd on
    • cd /var/www/html/
    • 1. ambari 的 yum源
    • cd /hujun
    • unzip ambar-2.7.4.0.zip
    • mv ambari /var/www/html/
    • 截图如下：
    • cd /var/www/html/ambari/centos7/2.7.4.0-118
    • cp -p ambari.repo /etc/yum.repos.d/
    • cd /etc/yum.repos.d
    • vim ambari.repo
    • —-
    • #VERSION_NUMBER=2.7.4.0-118
    • [ambari-2.7.4.0]
    • #json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
    • name=ambari Version – ambari-2.7.4.0
    • baseurl=http://172.26.146.50/ambari/centos7/2.7.4.0-118
    • gpgcheck=0
    • enabled=1
    • priority=1
    • —-
    • HDP: /var/www/html/HDP/centos7/3.1.4.0-315
    • HDP-GPL: /var/www/html/HDP-GPL/centos7/3.1.4.0-315
    • HDP-UTILS : /var/www/html/HDP-UTILS/HDP-UTILS/centos7/1.1.0.22
    • 截图如下：
    • 完成后copy到其它节点
    • cd /etc/yum.repos.d/
    • scp ambari.repo hdp.repo hdp.gpl.repo dataPC002:/etc/yum.repos.d/
    • scp ambari.repo hdp.repo hdp.gpl.repo dataPC003:/etc/yum.repos.d/
    • scp ambari.repo hdp.repo hdp.gpl.repo dataPC004:/etc/yum.repos.d/
    • scp ambari.repo hdp.repo hdp.gpl.repo dataPC005:/etc/yum.repos.d/
    • yum repolist
    • yum clean all
    • yum makecache
  • Linux部署mysql的详细步骤
  • (232条消息) linux安装mysql 5.7 完整步骤_听雨渐落的博客-CSDN博客_linux下安装mysql5.7步骤
  • 1.rpm -qa |grep mariadb 卸载centos7自带的mariadb数据库
  • 2.rpm -e mariadb-libs-5.5.68-1.el7.x86_64 (1查出的结果) 或者 yum remove 1查出的结果
  • 1.下载解压tar包并rpm -ivh xxxx.rpm –nodeps 每一个rpm包
  • 2. vim /etc/my.cnf
  • 3.
  • 4.systemctl enable mysqld systemctl start mysqld systemctl status mysqld
  • 2022-05-28T18:59:55.195430Z 1 [Note] A temporary password is generated for root@localhost: youk#JhsV3Dc
  • 给这个sock文件所在的文件夹 mysql:mysql的权限，然后启动mysqld服务就可以生成这个mysql.lock文件
  • chown -R mysql:mysql mysql
  • 查看初始密码 grep ‘temporary password’ /var/log/mysqld.log （初始密码：L,k3a+Z:ohE1）
  • 修改初始密码
  • ALTER USER ‘root’@’localhost‘ IDENTIFIED BY ‘Yc@root123’;
  • 4.3.7 在数据库创建相应的用户和数据库
  • mysql -u root -p
  • GRANT ALL PRIVILEGES ON *.* TO ‘root’@’data-01-dev’ IDENTIFIED BY ‘Yc@root123’ WITH GRANT OPTION;
  • GRANT ALL PRIVILEGES ON *.* TO ‘root’@’localhost‘ IDENTIFIED BY ‘Yc@root123’ WITH GRANT OPTION;
  • SET PASSWORD FOR ‘root’@’localhost‘ = PASSWORD(‘Yc@root123’);
  • CREATE DATABASE ambari DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
  • CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
  • CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
  • GRANT ALL ON ambari.* TO ‘ambari’@’%’ IDENTIFIED BY ‘Yc@root123’ ;
  • GRANT ALL ON hive.* TO ‘hive’@’%’ IDENTIFIED BY ‘Yc@root123’;
  • GRANT ALL ON oozie.* TO ‘oozie’@’%’ IDENTIFIED BY ‘Yc@root123’;
  • flush privileges;
  • 安装MySQL的驱动包
  • yum install mysql-connector-java
  • 查看：/usr/share/java/mysql-connector-java.jar
  • chmod 777 mysql-connector-java.jar
  • 安装ambari
  • yum install -y ambari-server
  • 截图如下：
  • vim /etc/ambari-server/conf/ambari.properties
  • —-
  • 增加：
  • server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar
  • —
  • ambari-server setup –jdbc-db=mysql –jdbc-driver=/usr/share/java/mysql-connector-java.jar
  • 截图如下：
  • Ambari设置：
  • ambari-server setup
  • ambari数据表创建
  • mysql -uroot -proot123456
  • use ambari
  • source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
  • 截图如下：
  • vim /etc/ambari-server/conf/password.dat的初始ambari访问mysql的密码 (GRANT ALL ON ambari.* TO ‘ambari’@’%’ IDENTIFIED BY ‘Yc@root123’;)
  • vim /etc/ambari-server/conf/properties
  • 4.5 启动ambari
  • ambari-server start
  • netstat-nutlp | grep 8080
  • 截图如下：
  • 访问ambari的web
  • 注：设置ECS安全组，开放端口8080
  • http://106.15.78.245:8080
  • 用户名：admin
  • 密码： admin
  • 创建集群
  • 选择版本
  • 下载HDP-3.1.4.0-315.xml–修改版本用
  • 注释掉：<!–<build>315</build>–>
  • 选择本地仓库，只保留redhat7，并且填上地址
  • 添加主机，选择ambari主节点私钥(datapc001)
  • cat /root/.ssh/id_rsa
  • 这个过程遇到问题就解决，没有就是安装OK了！
  • 选择需要的服务，安装
  • Hive和Oozie库测试
  • 一直下一步
  • 部署节点确认
  • 这一步分发要等很长的一段时间(因无法重现，使用网上图片)
    • 安装好之后的一些参数设置
    • 1.解决云服务器每次重启导致hosts文件变化的问题
    • 2.解决hive无法执行load data的问题
    • 3.解决hive无法正常count统计表行数的问题
    • hive使用count语法（select count(1) /count(*) 进行统计某个表的数据量 时 返回的结果始终为0）
    • 4.解决服务器重启之后hosts文件多出一行 127.0.0.1 data-01-test data-01-test 导致 data-01-test节点心跳丢失的问题
      • vim /etc/cloud/cloud.cfg
      • 注释 #manage_etc_hosts:localhost
    • 集群部署好之后的基本功能测试
    • 解决50070 hdfs 界面无法访问/warehouse/tablespace/managed 下的文件夹 dwxr——— 明显是权限不足了
    • [hdfs@data-01-pro root]$ hdfs dfs -chmod -R 777 /tmp
    • [hdfs@data-01-pro root]$ hdfs dfs -chmod -R 777 /warehouse/tablespace/managed
      • –之前尝试过hdfs dfs -chmod -R 755 /tmp 会引入新的问题，导致hiveserver2启动失败
  • hive表中文注释乱码问题处理 这个链接加了 &amp;useUnicode=true&characterEncoding=UTF-8
  • https://blog.csdn.net/weixin_45425054/article/details/114656090
  • set hive.mapred.mode=nonstrict;
  • set hive.optimize.ppd=true;
  • set hive.optimize.index.filter=true;
  • set hive.tez.bucket.pruning=true; –根据大佬所说 这条是关键
  • set hive.explain.user=false;
  • set hive.fetch.task.conversion=none; –实际上这条关键？ 不要设置这个参数为none。因为会让hive每个任务都走mr，会卡死，导致远程连接异常
  • set hive.support.concurrency=true;
  • set hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
  • org.apache.hadoop.hive.ql.lockmgr.DbTxnManager
  • 1、hive.create.as.insert.only=false
  • 2、metastore.create.as.acid=false
  • 3、hive.strict.managed.tables=false、
  • 关闭集群权限控制

作者 admin

张宴银，大数据开发工程师

相关文章

hive 复习 大数据集群 学习笔记 性能调优 数据治理

数据治理 – 常用的hive调优参数

8 月 14, 2024 张, 宴银
大数据集群

Linux中安装python3

6 月 11, 2024 admin
大数据开发bug日记 大数据集群

修改mysql的binlog日志保存天数和大小限制

6 月 11, 2024 admin

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

You missed

业务知识 学习笔记

物流知识讲堂 – 物流业务知识

2025 年 5 月 13 日 admin
数据治理

零基础学习数据治理 – 黎山

2025 年 2 月 27 日 张, 宴银
AI

AI大模型工具

2025 年 2 月 25 日 张, 宴银
AI 机器学习

机器学习 – Numpy

2025 年 2 月 11 日 张, 宴银