运维日志数据实时分析和批量分析需求并存、多结构数据并存,架构规划应该如何着手?

运维日志数据实时分析和批量分析需求并存、结构化数据和非结构化数据并存、数据种类多,运维日志分析平台架构规划应该如何着手?

参与3

1同行回答

tech4betterlifetech4betterlife信息分析/架构师IBM
IBM日志系统实时采集日志,在线日志实时查询,后台有批处理作业,处理长时间任务。至于数据格式,日志大部分是非结构化的,日志系统可以从日志中提取信息。如果您们想自己开发日志系统,选择合适的技术架构很关键,大数据技术有点庞杂,如果有些地方想不清楚,也可以找我们交流,讨论一下。...显示全部

IBM日志系统实时采集日志,在线日志实时查询,后台有批处理作业,处理长时间任务。至于数据格式,日志大部分是非结构化的,日志系统可以从日志中提取信息。如果您们想自己开发日志系统,选择合适的技术架构很关键,大数据技术有点庞杂,如果有些地方想不清楚,也可以找我们交流,讨论一下。

收起
软件开发 · 2016-06-02
浏览1841

提问者

colins
colins0412
系统工程师金融行业
擅长领域: 服务器存储灾备

问题来自

问题状态

  • 发布时间:2016-06-02
  • 关注会员:2 人
  • 问题浏览:4658
  • 最近回答:2016-06-02
  • X社区推广