企业运营过程中有非常多的日志产生,一直以来只是被当做系统报错之后的问题定位,但实际上,日志(不仅仅是日志文件,还有页面访问,app访问日志等)中存在着很多有价值的信息有待开发,我们在尝试对日志进行分析,这是个共性问题,大家可以分享下使用经验。
收起随着大数据技术的发展,日志分析的重要性已经凸显,我们的日志处理过程分成了几条线:
1、日志实时监控,主要用于发现日志内容中的关键信息,采取相应措施,如短信告知等。
2、日志内容分析,主要是采用实时流处理技术,将关键内容结构化,以表结构存储在hadoop中,用于后续分析。
3、无法结构化的的内容存储ES中,利用统一界面进行日志检索。