(261条消息) ambari集成flink_ads13524的博客-CSDN博客_ambari flink

  • flink集成安装包位置 /var/lib/ambari-server/resources/stacks/HDP/3.1/services/FLINK
  • data-01-dev服务器
    • hadoop辅助jar包 /var/www/html/Flink/flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar
    • flink 14.4 安装包 /var/www/html/Flink/flink-1.14.4-bin-scala_2.12.tgz+
    • flink_pid_dir /var/run/flink
  • 马士兵教育flink安装部署操作步骤
  • vim ~/.bashrc
    • export FLINK_HOME=/opt/flink
    • export PATH=$PATH:$FLINK_HOME/bin
  • source ~/.bashrc
  • 1.将flink官网下载的安装包放到服务器上opt文件夹下,并解压
  • 2.修改flink-conf.yaml文件配置信息
  • vim /opt/flink/conf/flink-conf.yaml (注:如果不将上限内存参数给注释掉,flink启动会失败)
  • #jobmanager.memory.process.size: 2048m
  • #taskmanager.memory.process.size: 2048m
  • 3.修改masters 和 workers配置文件
  • vim masters
  • vim workers
  • 4. 将flink文件夹分发给其他节点
  • scp -r flink/ data-02-dev:/opt/
  • scp -r flink/ data-03-dev:/opt/
  • 5.启动flink集群
  • cd /opt/flink/bin
  • ./start-cluster.sh
  • flink启动成功
  • 查看hdfs路径的命令
  • hdfs getconf -confkey fs.default.name

作者 admin

张宴银,大数据开发工程师

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注