现在看到很多大公司甚至是银行都在招聘大数据运维或大数据管理岗位,想请教大家一下,这样的岗位具体需要掌握哪些专业知识?
收起不是专业运维,谈一下自己的理解,供参考。
1、大数据生态体系的解决方案基本都是运行在开放平台上的,所以对Linux系统的知识掌握是基础。
2、Java/Scala等JVM族语言在生态体系中占有优势,所以增加对JVM的了解,会有帮助。
3、大数据解决基本都是分布式架构,所以对网络知识最好有些了解。
以上都算是通用技能,如果还想针对性的学习,建议从以下几方面入手:
HDFS/Zookeeper是广泛使用的基础组件;HBase是非常经典的LSM模型,后续很多分布式数据库都在该基础上的扩展;Spark目前是比较流行的一站式解决方案,覆盖的场景比较广,学习的性价比高。建议先把这几部分的原理搞清楚。