standalone集群方式提交作业

提交命令

./spark-submit  --master spark://node01:7077  --deploy-mode cluster --class org.apache.spark.examples.SparkPi  ../lib/spark-examples-1.6.0-hadoop2.6.0.jar100

执行流程
- 1.cluster模式提交应用程序后，会向Master请求启动Driver.(而不是启动application)
- 2.Master接受请求，随机在集群一台节点启动Driver进程。
- 3.Driver启动后为当前的应用程序申请资源。Master返回资源，并在对应的worker节点上发送消息启动Worker中的executor进程。
- 4.Driver端发送task到worker节点上执行。
- 5.worker将执行情况和执行结果返回给Driver端。Driver监控task任务，并回收结果。

总结
- 1.当在客户端提交多个application时，Driver会在Woker节点上随机启动，这种模式会将单节点的网卡流量激增问题分散到集群中。在客户端看不到task执行情况和结果。要去webui中看。
- 2.cluster模式适用于生产环境
- 3.Master模式先启动Driver，再启动Application。