传统行业使用hadoop等大数据需要配备什么样的人才?需要具备哪些知识?
传统行业的开发人才一般对多线程的开发以及复杂的底层数据传输处理知道的很少,一般他们可能只关注于业务系统的CRUD,不必担心系统的性能问题,所以传统行业的人去做hadoop开发,还是多了解一些底层的一些知识,比如多线程并发编程,数据传输过程中涉及到哪些操作等
举个列子
1个100T的文件让你在文件中间位置加个字符串,或者说让你不用管hadoop的mr特性,你有啥办法去让文件的每行输出keyvalue形式而且性能还得不能太低
考虑大数据处理就得有多线程的思想
个人拙见。
其实对于Hadoop来说,最主要的两个思想,第一个是HDFS的文件存储,之后是其依赖于存储之上的并行计算框架,相对于一些时候,对于RD的要求反而在降低。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30