ARTICLE DETAIL

建站实战干货

来自一线的建站与推广经验沉淀,每一条都经过真实交付验证。

spark的任务提交方式及流程

2026/10/1 23:34:58 拓冰建站 浏览量
spark的任务提交方式及流程

本地模式

local

测试用,不多赘述

分布式模式

standalone

standalone集群是spark 自带的一个资源调度集群,分为两个角色,master/worker,master负责接收任务请求、资源调度(监听端口7077),worker负责运行executor

在提交任务前需要将spark集群启动好/start-all.sh,而且它有自己的webUi,http://xx:8080,这种模式下spark是可以不依赖hadoop的

client

Driver 是在 SparkSubmit 进程中

spark-submit任务会等任务结束之后才退出,因为driver负责切分stage,封装task交给executor运行,但是这个任务提交是有先后顺序的,task必须从头到尾依次提交,所以spark-submit任务会等任务结束才退出。

cluster

Driver 是在 Worker 节点上运行

随机挑选一个Worker执行Driver,因此如果你想在driver中使用本地资源文件,你需要保证所有的worker上都有你这个资源文件,或者说使用外部文件系统

yarn

client

Driver 是在 SparkSubmit 进程中

cluster

Driver 是在 ApplicationMaster 进程中