怎么实现spark中不同的分组对应不同处理函数？ 举报 理由 举报 取消 现在在处理机器监控的数据，包括内存、网络、CPU等数据，是一个实时流数据，使用spark streaming作为处理平台。在实际的使用中，需要根据监控的内容分组做时间序列，然后根据不同的监控内容需要使用不同的分析函数，这时就出现了一个问题，处理内存、网络和CPU的判断标准完全不一样，请问应该如何解决？ 2017年12月29日 1 条回复 954 次浏览 Apache,Spark,Storm,数据,计算
回复 ( 1 )
简单版：监控消息自带一个报文头标识，放在一个管道中，streaming拉出来消息以后在foreachRDD里解析出报文头做不同处理。
复杂版：监控消息根据类别放在不同管道里，创建多个streaming流分别接收并处理。