传统行业使用hadoop等大数据需要配备什么样的人才?

传统行业使用hadoop等大数据需要配备什么样的人才?需要具备哪些知识?

参与8

2同行回答

美国队长美国队长研发工程师Alibaba
传统行业的开发人才一般对多线程的开发以及复杂的底层数据传输处理知道的很少,一般他们可能只关注于业务系统的CRUD,不必担心系统的性能问题,所以传统行业的人去做hadoop开发,还是多了解一些底层的一些知识,比如多线程并发编程,数据传输过程中涉及到哪些操作等举个列子1个100T...显示全部

传统行业的开发人才一般对多线程的开发以及复杂的底层数据传输处理知道的很少,一般他们可能只关注于业务系统的CRUD,不必担心系统的性能问题,所以传统行业的人去做hadoop开发,还是多了解一些底层的一些知识,比如多线程并发编程,数据传输过程中涉及到哪些操作等

举个列子

1个100T的文件让你在文件中间位置加个字符串,或者说让你不用管hadoop的mr特性,你有啥办法去让文件的每行输出keyvalue形式而且性能还得不能太低

考虑大数据处理就得有多线程的思想


个人拙见。

收起
互联网服务 · 2016-01-15
浏览1693
xuyanhuixuyanhui信息分析/架构师58同城大数据
其实对于Hadoop来说,最主要的两个思想,第一个是HDFS的文件存储,之后是其依赖于存储之上的并行计算框架,相对于一些时候,对于RD的要求反而在降低。显示全部

其实对于Hadoop来说,最主要的两个思想,第一个是HDFS的文件存储,之后是其依赖于存储之上的并行计算框架,相对于一些时候,对于RD的要求反而在降低。

收起
互联网服务 · 2016-01-15
浏览1901

提问者

hello_unix
信息技术经理西安
擅长领域: 服务器存储灾备

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2016-01-15
  • 关注会员:4 人
  • 问题浏览:5457
  • 最近回答:2016-01-15
  • X社区推广