关于海量日志的处理?

理由
举报 取消

在实际应用中,产生了大量的用户日志(行为,异常等).需要存储用户产生的日志,并且会对日志进行统计,分析和查询.目前采取的方案是scribe进行日志归集后交给hadoop处理.我是搞应用开发的.对于hadoop研究不多.想问一下,类似的需求有没有其他稍微轻量级一点的实现?面临的问题主要是如下几方面:第一:日志归集.因为服务器比较多.第二:日志的存储和处理.需要备份相关数据.第三:如何进行相关统计和查询分析.无实时性要求.希望各位大大们赐教.

2017年9月27日 2 条回复 1094 次浏览

发起人:孟令国 初入职场

Java程序员

回复 ( 2 )

  1. 陈军 日志易
    理由
    举报 取消

    日志易()就是不错的选择。

  2. 云远
    理由
    举报 取消

    可以用ODPS,这是一个服务,开箱即用无运维压力,日志采集过程可以配置fluentd,分析可以用SQL,估计半天时间可以跑通出结果。

我来回答

Captcha 点击图片更换验证码