在选择大数据混合部署的容器化技术路线时，完全容器化和部分容器化各有优劣，最终选择取决于具体的业务需求、现有技术栈、团队技能和长远发展规划 ，简单来说就三类：* 现代化需求强烈且具备相应技术能力的企业 ：可以选择完全容器化，使用 Spark on K8S。已有大量 Hadoop 工作负载...

通过资源隔离（比如采用K8S不同的namespace并分配不同的租户quota)、优先级和抢占（采用不同的PriorityClass ）、资源限制（不同的limit、request，quota等）、监控和自动化调整（如 Prometheus 和 Grafana ，结合HPA/VPA等）、队列和调度策略以及独立的存储和网络配置等手段，可以有效保障...

大数据框架组件的监控，可以复用容器平台原有对于在线容器的基础监控能力，并增加一些组件应用特性的状态类监控指标。 作业层面，复用原有大数据作业的监控逻辑，监控队列里的作业状态，以及某一时间段（比如30分钟内）的作业失败率，超出预期则发出告警。...

如何实现业务容器与大数据容器的混合调度部署，两者的调度器的逻辑如何进行统一，以达到在保证安全生产的前提下，充分利用集群资源，降本增效 。针对这个话题我谈谈我的建议：大数据作业通常需要独立的调度器，和在线业务的调度器独立，因为二者的调度逻辑有很大的差异。在线业务用缺...

关于大数据容器化会有比较专业的厂商或是业界比较成熟的方案 ，我也谈谈我在大数据和容器结合的一些实践经验给你参考：可以根据自己的实际情况和需要选择。 但是前提是在线单集群的规模要足够大，单个节点的规格要足够高（最好是物理机）并且配置本地shaffle文件系统，这样才能承载...

大数据平台容器化后底层容器使用的还是k8s这一套，这个并没有改变。 技术方案方案一般有2大类： 一个大类是用k8s模拟yarn调度模式、一个大类是k8s原生调度方式。spark/flink社区主要支持k8s原生调度方式，我们因为历史原因选择用k8s模拟yarn调度模式。大数据容器化只有和混...

针对：大数据容器化部署如何实现资源隔离，与非容器相比的优势在什么地方？我是这么思考的，你可以看看是否有解答你的问题：通过宿主机的linux kernel实现优先级控制，确保资源使用优先级低于在线服务。与传统方式相比，容器化的大数据作业可以运行在在线应用使用的集群，利用在线集群...

大数据平台容器化部署后，原有大数据平台产品还需要吗？其实这个问题是很多中小金融机构会面临遇到的问题，我是这样思考的希望能对你有帮助。存量的传统大数据集群产品还会保留，和容器化的大数据平台并行，但是不会再进行扩容了。新增作业都上容器化的大数据平台，可以和在线应用共...

个人理解hdfs在容器外，和原来一样，只是原来是直接访问，现在是容器化后挂载存储卷

为了平衡成本和产出，确实存在改造容器云的体量考量。然而，并没有一个固定的物理节点数量作为是否适合改造容器云的明确界限，因为是否适合改造容器云更多地取决于特定的业务需求、技术架构、资源利用情况等因素。不过，以下是一些在考虑是否改造容器云时可以考虑的因素：业务规模...