想问下, mac 上有没有 spark 任务运行监控工具, 比如像 ccmenu 这种,可以在 mac 上不需要打开浏览器,也能实时监控任务运行状况的.
This topic created in 3276 days ago, the information mentioned may be changed or developed.
Supplement 1 · Nov 14, 2017
我用了一个很弱智的方法解决这个问题
- 在jenkins 上建一个任务来跑 spark 脚本
- 用 ccmenu 监控 jenkins 上那个任务是否执行结束
 |
NitromethaneNov 14, 2017
1
没有~
|
 |
tinybaby365Nov 14, 2017
2
写个 shell
apps=`yarn application -list 2>/dev/null|grep application_|awk '{ print $2 }'` 配合 mac 的 say 命令，通过喇叭报警； curl 调用 pushover 手机报警 |
 |
3
@tinybaby365 因为是要监控服务器上的任务运行情况,所以这种方法不适合我
|
 |
CallFoldNov 14, 2017
4
|
 |
kex0916Nov 15, 2017
5
mac 上没有专门的 spark 任务监控工具
但是 spark 自身提供了一套 REST API，可以监控 application、executor、job、task 等状态，http://spark.apache.org/docs/latest/monitoring.html#rest-api，可以从这方面入手。 |
 |
WendellSunNov 15, 2017
6
@kex0916 流弊
|
Select Language