企业运营过程中有非常多的日志产生,一直以来只是被当做系统报错之后的问题定位,但实际上,日志(不仅仅是日志文件,还有页面访问,app访问日志等)中存在着很多有价值的信息有待开发,我们在尝试对日志进行分析,这是个共性问题,大家可以分享下使用经验。
收起日志包含的信息:
1、日志包含了IT的系统信息,比如:服务器的信息,网络设备的信息,操作系统的信息,应用软件的信息;
2、日志也包括用户的信息,用户的行为信息;
3、也可能包括业务的信息。
过去使用数据库处理日志无法支持大数据量。后来出现了使用Hadoop/Storm/SparkStreaming等开发框架来处理日志,及最新的使用实时搜索分析引擎来对日志进行实时处理。现如今使用Hadoop/Storm/SparkStreaming等开发框架来处理日志已经在各大公司被广泛的运用。
越来越多的公司也意识到日志需要统一来管。实现日志集中管理后,不同业务部门的日志全部交给一个部门来负责,他们会成立大数据部来统一处理日志,把不同业务系统的日志对照着来看,就会更加协调,更加统一,数据更加对得上号。