Spark UI 中 Executors tab 指标的几个疑问解答

　　Executors是运行在工作节点（Worker Node）上的一个进程，负责运行任务。它是一组计算资源(cpu核心、memory)的集合。

　　SparkUI中的Executors页面记录了任务运行产生的executor信息，如内存和磁盘的使用情况，以及task和shuffle的信息。实践中，可以通过这个页面的指标来判断任务执行过程中产生的executor是否合理，进而调优。

　　SparkUI的Executor界面如下图所示，主要显示了任务启动的executor的执行情况。Summary展示的是executor的执行情况的汇总ASP编程，Executors栏展示的是具体每一个executor的执行情，主要有任务当前状态，core数，执行的task数等指标。

　　答：——dead与是否失败没有关系。dynamic模式下，当你任务出现空闲就会主动释放空闲的executor，被释放的就是dead状态。只是一个当前的状态，表示这些executor已经完成了他们的任务，已经休息了。跟它历史上是否正常执行过task没有关系。

　　3、下图中，active=2表示什么，为什么任务都已经结束了还有active的executor？

　　答：——跑完的任务一般可以忽略是否active，只需关心total即可。基本上是最后一批task所在的executor，任务退出后没来得及记录executor退出的事件，导致这些状态没有更新。源码编程器手机版