Spark程序如何只输出最后结果，隐藏中间的输出？？？

理由
举报 取消

Spark程序运行，输出内容过多，如何只要最后结果？？？

2018年1月13日 3 条回复 867 次浏览
用户头像

发起人：红尘一梦 初入职场

回复 ( 3 )

  1. Anakinxon
    Anakinxon 初入职场
    0
    举报 回复
    理由
    举报 取消

    将SPARK启动和运行时的一些INFO信息过滤掉 – sunzz679的专栏 – 博客频道 – CSDN.NET

  2. 用户头像
    江杰宇 初入职场
    0
    举报 回复
    理由
    举报 取消

    由于spark的调试信息输出在stderr 可以在命令后面加上 2>/dev/null 去掉调试信息

  3. 奥利根神棍
    奥利根神棍 初入职场
    0
    举报 回复
    理由
    举报 取消

    把spark/conf/log4j.properties下的

    log4j.rootCategory=【Warn】=> 【ERROR】

    log4j.logger.org.spark-project.jetty=【Warn】=> 【ERROR】

我来回答

Captcha 点击图片更换验证码