离线在线混合部署后，主要是错峰运行。夜间(22:00-8:00)之间是在线的低谷期，可以出让较多的CPU计算资源给大数据，比如40%-45%。白天(8:00-18:00) 是在线应用的高峰期，可以出让比如15%-20%的资源给大数据作业；晚上(18:00-22:00)在线业务负载相比白天下降，可以出让30%的资源给大...

NameNode 的动态扩缩容一般的方式如下：1、水平扩展：对于 NameNode，可以采用主备模式部署，利用 ZooKeeper 等工具实现自动故障转移。当主 NameNode 负载过高或发生故障时，自动切换到备用 NameNode。2、优先级负载均衡：在主备模式下，可以使用负载均衡器，将请求优先发送到主 NameNod...

个人认为这个要分几个方面看，容器化并不是在等量资源条件下可以提升性能。它实现的是降本增效，实现快速部署和易于扩展。将虚拟机底层化。在更少的硬件基础下运行更多的程序。容器化后，若瓶颈在于存储，那么就需要提高容器外存储访问的IO或者网络速度，例如可以考虑分布式存储。...

通过资源隔离（比如采用K8S不同的namespace并分配不同的租户quota)、优先级和抢占（采用不同的PriorityClass ）、资源限制（不同的limit、request，quota等）、监控和自动化调整（如 Prometheus 和 Grafana ，结合HPA/VPA等）、队列和调度策略以及独立的存储和网络配置等手段，可以有效保障...

不管是否是大数据平台，只要使用容器化部署，一般在资源利用率、自动故障恢复、环境一致性、统一监控和日志管理、自动化部署、安全性等方面都显著优于传统的物理部署。但数据存储可能例外（其实只要能解决网络存储的带宽及网络延迟问题，我觉得也是比物理部署采用的本地存储要好...

如果是serverless yarn方式，还是通过yarn UI查看作业日志。 监控建议通过prometheus exportor对接k8s集群内的prometheus，实现监控数据的同一采集。 异常诊断需要首先通过作业日志定位作业失败的原因，如果涉及平台管理组件（比如RM或者NM），需要查看RM或者NM Pod的日志...

企业要通过容器技术落地大数据混部，要保证稳定性这块，首先需要确保基础调度组件，如RM，NM的稳定性，同时具备高可用能力和异常情况下快速重启恢复能力。作业提交建议有2此重试机制，如果因为RM/NM偶发异常导致作业失败，可以通过重试恢复。这里说的离线大数据作业都是批量式的，flink...