长沙网站优化外包服务,便捷的网站建设软件,免费黄页网站,成都网站建设新线加1.本地搭建
1.1.下载Flink 进入Flink官网#xff0c;点击Downloads 往下滑动就可以看到 Flink 的所有版本了#xff0c;看自己需要什么版本点击下载即可。 1.2.上传解压 上传至服务器#xff0c;进行解压
tar -zxvf flink-1.17.1-bin-scala_2.12.tgz -C ../module/
1.3.启…1.本地搭建
1.1.下载Flink 进入Flink官网点击Downloads 往下滑动就可以看到 Flink 的所有版本了看自己需要什么版本点击下载即可。 1.2.上传解压 上传至服务器进行解压
tar -zxvf flink-1.17.1-bin-scala_2.12.tgz -C ../module/
1.3.启动Flink
#进入flink安装目录cd /opt/module/flink-1.17.1/#启动flinkbin/start-cluster.sh
查看进程 jps,正常启动 1.4.查看 Web ui 启动成功后访问http://[IP]:8081可以对集群和任务进行监控管理。 1.5.关闭Flink
bin/stop-cluster.sh
2.集群搭建 角色分配。Flink 是典型的 Master-Slave 架构的分布式数据处理框架其中 Master 角色对应着 JobManagerSlave 角色则对应 TaskManager。 三台测试。
服务器hadoop102hadoop103hadoop104角色 JobManager TaskManager TaskManager 2.1.下载并解压安装包 与本地搭建一致
2.2.修改集群配置
2.2.1修改 flink-conf.yaml 文件
#进入Flink 安装目录
cd /opt/module/flink-1.17.1/#修改文件
vim conf/flink-conf.yaml
修改JobManager 节点地址.将 jobmanager.rpc.address 参数的值 改为 hadoop102 根据自己的服务器名称指定 hadoop 节点服务为 JobManager 节点。 2.2.2修改workers文件
vim conf/workershadoop103
hadoop104
指定 hadoop103、hadoop104 服务器 为 TaskManager 节点
2.3.分发安装目录 scp -r /opt/module/flink-1.17.1/ hadoop103:/opt/module/scp -r /opt/module/flink-1.17.1/ hadoop104:/opt/module/
2.4.集群启动 在 hadoop102 服务器中 启动
bin/start-cluster.sh 查看 各服务器节点进程是否正常
hadoop102 hadoop103 hadoop104 2.5查看 Web ui Available Task Slots显示为0需要重新配置下 TaskManager节点的服务器2台中的 flink-conf.yaml 文件将 taskmanager.host 参数值 改为 服务器的 ip或 主机名 重新启动 flink 集群显示 正常。当前集群的 TaskManager 数量为 2由于默认每个 TaskManager 的 Slot 数量为 1所以总 Slot 数和可用 Slot 数都为 2。 3.测试
Flink学习之旅二构建Flink demo工程并提交到集群执行-CSDN博客在idea中创建一个 名为 MyFlinkFirst 工程。https://blog.csdn.net/qq_35370485/article/details/133905729?spm1001.2014.3001.5501
