关于海量日志的处理? 举报 理由 举报 取消 在实际应用中,产生了大量的用户日志(行为,异常等).需要存储用户产生的日志,并且会对日志进行统计,分析和查询.目前采取的方案是scribe进行日志归集后交给hadoop处理.我是搞应用开发的.对于hadoop研究不多.想问一下,类似的需求有没有其他稍微轻量级一点的实现?面临的问题主要是如下几方面:第一:日志归集.因为服务器比较多.第二:日志的存储和处理.需要备份相关数据.第三:如何进行相关统计和查询分析.无实时性要求.希望各位大大们赐教. 2017年9月27日 2 条回复 1094 次浏览 数据
回复 ( 2 )
日志易()就是不错的选择。
可以用ODPS,这是一个服务,开箱即用无运维压力,日志采集过程可以配置fluentd,分析可以用SQL,估计半天时间可以跑通出结果。