怎么实现spark中不同的分组对应不同处理函数?

理由
举报 取消

现在在处理机器监控的数据,包括内存、网络、CPU等数据,是一个实时流数据,使用spark streaming作为处理平台。在实际的使用中,需要根据监控的内容分组做时间序列,然后根据不同的监控内容需要使用不同的分析函数,这时就出现了一个问题,处理内存、网络和CPU的判断标准完全不一样,请问应该如何解决?

2017年12月29日 1 条回复 967 次浏览

发起人:Nemo 初入职场

回复 ( 1 )

  1. 笨鸟
    理由
    举报 取消

    简单版:监控消息自带一个报文头标识,放在一个管道中,streaming拉出来消息以后在foreachRDD里解析出报文头做不同处理。

    复杂版:监控消息根据类别放在不同管道里,创建多个streaming流分别接收并处理。

我来回答

Captcha 点击图片更换验证码