2021-05-02

bin/spark-submit
--classcom.huawei.cluster\
--masteryarn-cluster\
--driver-cores2\
--driver-memory30G\
--confspark.shuffle.service.ennabled=true

--confspark.memory.storageFraction=0.30 \
--confspark.memory.fraction=0.7 \
--confspark.default.parallelism=2800\
--confspark.sql.shuffle.partitions1=1400\
--confspark.yarn.executor.memeoryOverhead=4096\
--executor-memory30g \
--executor-cores8 \
--num-executors20\

  • 默认 : 55开,预留300M
    JVM-Memory =
    Spark Memory( Storage Memory(用于缓存广播变量等) 50% + Execution Memory(用户缓存Shuffle的中间数据)50%) 60% + User Memory( 用户自己维护数据结构 ) 40% + (预留300M)

  • Storage Memory : 用于缓存 广播变量, 内存. persist 侧重存

  • Execution Memory : 用于shuffle的中间数据侧重网络分发和计算

参数设置
-- confspark.memory.fraction=0.7
设置Spark Memory内存

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容