大数据Flink进阶(十一):Flink History Server配置使用
腾讯云 2023-04-10 17:37:29

Flink History Server配置使用

基于Standalone或者Yarn模式提交Flink任务后,当任务执行失败、取消或者完成后,可以在WebUI中查看对应任务的统计信息,这些统计信息在生产环境中对我们来说非常重要,可以知道一个任务异常挂掉前发生了什么,便于定位问题。

当基于Standalone session模式提交相应任务时,集群重启后我们没有办法查看集群之前运行任务的情况,如果是基于pre-job方式提交任务,任务执行完成之后,那么相对应的统计信息也不会保存,基于Yarn运行的Flink任务也是一样道理。这样对于我们查看先前Flink作业统计信息或参数带来了不便。Flink中提供了History Server 来解决这个问题,可以在任务执行完成后保留相应的任务统计信息,便于分析和定位问题。


(资料图片仅供参考)

History Server 允许查询由JobManager归档的已完成作业的状态和统计日志信息。已完成的作业归档由JobManager上传持久化到某个路径下,这个路径可以是本地文件系统、HDFS、H3等,History Server 可以周期扫描该路径将归档的Flink任务日志恢复出来,从而可以查看相应Flink任务日志情况。

一、Standalone History Server配置与验证

1、配置

在Standalone中配置History Server 服务需要选择一台节点当做History Server ,这台节点可以是JobManager/TaskManager节点,也可以是Standalone集群外的一台节点,这里选择node4节点作为Flink History Server 节点。Standalone配置HistoryServer 服务步骤如下:

1.1、在JM 和 TM 节点上配置 flink-conf.yaml

在Flink Standalone JobManager和TaskManager节点上配置flink-conf.yaml文件,指定Flink完成任务持久化的路径,这里选择HDFS目录作为任务日志持久化保存目录。在node1、node2、node3节点上配置$FLINK_HOME/conf/flink-conf.yaml文件,加入以下配置。

#Flink job运行完成后日志存储目录jobmanager.archive.fs.dir: hdfs://mycluster/flink/completed-jobs/

Flink会根据以上配置连接HDFS 目录存储任务数据,所以需要在node1、node2、node3节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。

#vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效source /etc/profile

1.2、在History Server 节点上配置 flink-conf.yaml

在node4节点上配置$FLINK_HOME/conf/flink-conf.yaml文件,加入如下配置,配置HistoryServer。

#Flink History Server 节点historyserver.web.address: node4#Flink History Server 端口historyserver.web.port: 8082#Flink History Server 恢复任务的目录historyserver.archive.fs.dir: hdfs://mycluster/flink/completed-jobs/#Flink History Server 监控任务日志目录刷新时间间隔(毫秒)historyserver.archive.fs.refresh-interval: 10000

Flink会根据以上配置连接HDFS目录恢复任务数据,这里要求"historyserver.archive.fs.dir"参数配置需要与Flink各个节点上配置的"jobmanager.archive.fs.dir"参数路径保持一致。此外,需要在node4节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。

# vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效[root@node4 ~]# source /etc/profile

1.3、启动 Flink 历史日志服务器

在node4节点上启动Flink History Server

#启动Flink 历史日志服务器[root@node4 ~]# cd /software/flink-1.16.0/bin/[root@node4 bin]# ./historyserver.sh start

2、验证

History Server 启动后,可以通过https://node4:8082 来访问历史日志服务页面。

我们可以通过向Standalone集群中提交任务来验证History Server是否能正常展示运行Flink任务的统计信息,步骤如下:

2.1、启动 Standalone 集群

[root@node1 ~]# cd /software/flink-1.16.0/bin/[root@node1 bin]# ./start-cluster.sh

2.2、提交任务

向Flink集群中提交任务,任务还是选择读取Socket端口数据实时统计WordCount。首先在node5节点上启动socket服务:

[root@node5 ~]# nc -lk 9999

在node4 客户端提交Flink任务(可以在任意节点提交Flink任务),命令如下:

[root@node4 ~]# cd /software/flink-1.16.0/bin/[root@node4 bin]# ./flink run -m node1:8081 -c com.mashibing.flinkjava.code.chapter3.SocketWordCount /root/FlinkJavaCode-1.0-SNAPSHOT-jar-with-dependencies.jar

提交任务后在HDFS中暂时不会生成hdfs://mycluster/flink/completed-jobs"目录,当Flink集群停止、任务取消、任务失败后才可以在该目录下看到job信息。

2.3、取消任务并查看历史日志

在node5节点向Socket 9999端口输入一些数据:

hello,ahello,bhello,chello,d

然后在Flink WebUI中取消当前任务:

取消任务后可以在"hdfs://mycluster/flink/completed-jobs"目录中看到取消任务的信息:

当任务取消后,也可以停止Flink集群,Flink集群重启后先前的任务统计信息不会展示,可以登录Flink历史日志服务器查看先前任务统计信息:

注意:在取消任务或者停止Flink集群后,需要等待一小段时间才能在Flink历史日志服务器中查看到对应的取消任务。

二、Yarn History Server配置与验证

1、配置

Flink基于Yarn运行时,当Flink任务形成的集群停止后,无法看到对应任务的统计信息,也可以通过配置History Server来实现基于Yarn的Flink集群停止后查看任务的统计信息。

这里选择node5节点为History Server,基于Yarn运行Flink任务配置HistoryServer服务步骤如下:

1.1、在node5 节点上配置 flink-conf.yaml

在node5节点上配置$FLINK_HOME/conf/flink-conf.yaml文件,最后配置以下配置项。

#Flink job运行完成后日志存储目录jobmanager.archive.fs.dir: hdfs://mycluster/flink-yarn/completed-jobs/#Flink History 服务器地址historyserver.web.address: node5#HistroyServer WebUI 访问端口historyserver.web.port: 8082#HistoryServer历史日志服务恢复任务信息目录historyserver.archive.fs.dir: hdfs://mycluster/flink-yarn/completed-jobs/#Flink History Server 监控任务日志目录刷新时间间隔(毫秒)historyserver.archive.fs.refresh-interval: 10000

Flink会根据以上配置连接HDFS 目录存储任务数据,所以需要在node5节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。

#vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效source /etc/profile

1.2、启动 Flink 历史日志服务器并访问

在node5节点上启动Flink History Server

#启动Flink 历史日志服务器[root@node5 ~]# cd /software/flink-1.16.0/bin/[root@node5 bin]# ./historyserver.sh start

访问历史日志服务地址:https://node5:8082

2、验证

在node5节点基于Yarn提交Flink任务来验证History Server是否能正常展示执行完成的Flink任务统计信息。步骤如下:

2.1、向Yarn 集群中提交 Flink任务

向Yarn集群中提交Flink任务,任务还是选择读取Socket端口数据实时统计WordCount。在node5节点启动socket服务器:

[root@node5 ~]# nc -lk 9999

在node5节点向Flink集群中提交Flink任务,命令如下:

[root@node5 ~]# cd /software/flink-1.16.0/bin/# 提交Flink任务[root@node5 bin]#./flink run-application -t yarn-application -c com.lanson.flinkjava.code.chapter3.SocketWordCount /root/FlinkJavaCode-1.0-SNAPSHOT-jar-with-dependencies.jar

提交任务后在HDFS中暂时不会生成hdfs://mycluster/flink/completed-jobs"目录,当Flink集群停止、任务取消、任务失败后才可以在该目录下看到job信息。

2.2、取消任务并查看历史日志

在node5节点向Socket 9999端口输入一些数据:

hello,ahello,bhello,chello,d

然后登录Yarn(https://node1:8081) WebUI,找到提交的任务取消对应Flink任务:

取消任务后可以在"hdfs://mycluster/flink-yarn/completed-jobs"目录中看到取消任务的信息:

登录Flink历史日志服务器查看取消任务统计信息:

注意:在取消任务或者停止Flink集群后,需要等待一小段时间才能在Flink历史日志服务器中查看到对应的取消任务。

大数据Flink进阶(十一):Flink History Server配置使用

2023-04-10

世界焦点!民和股份2023年3月商品代鸡苗销售收入同比增长575.72%

2023-04-10

北京延庆世园村二期项目稳步推进|天天热闻

2023-04-10

全球球精选!螃蟹煮多久可以吃?

2023-04-10

环球速看:若《魔道祖师》有身份证,江澄难得呆萌,蓝湛高冷如旧,羡羡的住址是亮点

2023-04-10

焦点热讯:北京查处5起涉黄涉非典型案件

2023-04-10

环球实时:东方游戏文化周4月12日盛大开幕倒计时 展示国产游戏的成就与野心

2023-04-10

世界要闻:福建省2023年4月自学考试准考证打印入口已开通

2023-04-10

推进大中小学思政课一体化共同体建设 湖北首家校地共建基地在鄂州挂牌 全球快资讯

2023-04-10

世界热推荐:连山区气象局发布大风蓝色预警【Ⅳ级/一般】

2023-04-10

环球热资讯!大连市总工会:推动职工志愿服务规范化专业化发展

2023-04-10

全球观察:老里:现在打篮网不能再重点盯防一两个人 他们好多人都很能打

2023-04-10

您的windows版本已经终止服务_您的windows版本已终止服务怎么办

2023-04-10

今日讯!黎巴嫩真主党总书记会见哈马斯政治局领导人

2023-04-09

天天头条:世界正在变得更坏吗?

2023-04-09

未来三天北方风力较大,沙尘再起 | 沙尘暴蓝色预警发布!

2023-04-09

广东中山:小器件走向大舞台 税务“春风”助外贸高新企业渡困境-世界速看

2023-04-09

千年古城三代拨金漆画匠人接力传承古老技艺

2023-04-09

a4纸的两张是多大的 两张A4纸是多大要准确数字 天天看点

2023-04-09

世界快讯:文档字数统计在哪里

2023-04-09