在Spark應(yīng)用程序中設(shè)置日志輸出級(jí)別

我們通常會(huì)使用IDE（例如Intellij IDEA）開發(fā)Spark應(yīng)用，而程序調(diào)試運(yùn)行時(shí)會(huì)在控制臺(tái)中打印出所有的日志信息。它描述了（偽）集群運(yùn)行、程序執(zhí)行的所有行為。

在很多情況下，這些信息對(duì)于我們來(lái)說(shuō)是無(wú)關(guān)緊要的，我們更關(guān)心的是最終結(jié)果，無(wú)論是正常輸出還是異常停止。

幸運(yùn)的是，我們可以通過log4j主動(dòng)控制日志輸出的級(jí)別。引入log4j.Logger和log4j.Level，并在對(duì)象中設(shè)置Logger.getLogger("org").setLevel(Level.ERROR)

以此運(yùn)行后，控制臺(tái)只輸出ERROR級(jí)別信息，并不會(huì)錯(cuò)過輸出結(jié)果和調(diào)試報(bào)錯(cuò)。??

Reference: http://stackoverflow.com/questions/32189206/how-to-setup-intellij-14-scala-worksheet-to-run-spark