企业运营过程的日志中存在的有价值信息应该如何开发?

企业运营过程中有非常多的日志产生,一直以来只是被当做系统报错之后的问题定位,但实际上,日志(不仅仅是日志文件,还有页面访问,app访问日志等)中存在着很多有价值的信息有待开发,我们在尝试对日志进行分析,这是个共性问题,大家可以分享下使用经验。...显示全部

企业运营过程中有非常多的日志产生,一直以来只是被当做系统报错之后的问题定位,但实际上,日志(不仅仅是日志文件,还有页面访问,app访问日志等)中存在着很多有价值的信息有待开发,我们在尝试对日志进行分析,这是个共性问题,大家可以分享下使用经验。

收起
参与14

查看其它 3 个回答ZeroD的回答

ZeroDZeroD其它日志易

日志包含的信息:
1、日志包含了IT的系统信息,比如:服务器的信息,网络设备的信息,操作系统的信息,应用软件的信息;
2、日志也包括用户的信息,用户的行为信息;
3、也可能包括业务的信息。

过去使用数据库处理日志无法支持大数据量。后来出现了使用Hadoop/Storm/SparkStreaming等开发框架来处理日志,及最新的使用实时搜索分析引擎来对日志进行实时处理。现如今使用Hadoop/Storm/SparkStreaming等开发框架来处理日志已经在各大公司被广泛的运用。

越来越多的公司也意识到日志需要统一来管。实现日志集中管理后,不同业务部门的日志全部交给一个部门来负责,他们会成立大数据部来统一处理日志,把不同业务系统的日志对照着来看,就会更加协调,更加统一,数据更加对得上号。

互联网服务 · 2017-06-21
浏览2581

回答者

ZeroD
其它日志易
擅长领域: 系统运维安全大数据

ZeroD 最近回答过的问题

回答状态

  • 发布时间:2017-06-21
  • 关注会员:6 人
  • 回答浏览:2581
  • X社区推广