Spark性能调优03-数据本地化调优

1. task数据本地化级别

(1) PROCESS_LOCAL:进程本地化

Spark性能调优03-数据本地化调优

(2) NODE_LOCAL:节点本地化

Spark性能调优03-数据本地化调优

(3) NO_PREF:没有本地化级别

Spark性能调优03-数据本地化调优

(4) RACK_LOCAL:机架本地化

Spark性能调优03-数据本地化调优

(5) ANY:跨机架取数据

Spark性能调优03-数据本地化调优

2. TaskScheduler发送task选择本地化级别的策略

比如计算需要的数据在node01这台服务器中的Executor1这个进程中,那么TaskScheduler会把TaskSet发往Executor1进程中执行,此时的数据本地化级别时PROCESS_LOCAL,Executor1是最佳的计算位置,如果发送的task在等待了3秒,重试了5次之后仍然没有执行,那么TaskScheduler就认为Executor1的资源不充足,不足以支撑计算,那么降低数据本地化级别,把task发往node01的另外一个进程Executor2中,这时的数据本地化级别为NODE_LOCAL,如果还无法执行,降低为RACK_LOCAL,ANY,直到Task可以开始计算

3. 查看某任务的数据本地化级别的方法

(1) 在Spark Web UI中查看

Spark性能调优03-数据本地化调优

(2) 查看Spark作业的执行日志

Spark性能调优03-数据本地化调优

4. 修改task数据本地化级别的方法

增加等待时间,默认3s,可以成倍数提高,按照6s,12s,24s…这样的方式来修改,这样可以快速找到最佳值,配置参数:

# 可以调整全部级别的task执行等待时间,也可以分别调整
spark.locality.wait         default(3s)
spark.locality.wait.process default(3s)
spark.locality.wait.node    default(3s)
spark.locality.wait.rack    default(3s)

在默认情况下,最初的数据本地化级别为PROCESS_LOCAL,如果等待了3s,重试5次后还没有开始执行task,那么会降低级别,再尝试开始执行task,比如,我们就想让task的数据本地化级别为PROCESS_LOCAL,那么把spark.locality.wait.process修改为一个很大的值,那么这个task会一直等待,直到本机的executor中已经加载过来了需要的数据,当然,我们不会这么做。

Spark性能调优03-数据本地化调优

关注 易学在线 公众号

每日更新大量优质技术文档
第一时间获知最新上架课程
与众多大数据猿分享与交流

DOIT.EDU 资料来自网络收集整理,如有侵权请告知

wx