容器化技术路线落地大数据混部技术选型应该时完全容器化还是部分容器化？比如选择Spark on K8s 还是 Hadoop yarn on K8s。

要实现业务容器与大数据容器的混合调度部署，可以考虑以下步骤和策略：资源评估与规划：首先，评估现有计算资源的容量和性能，包括CPU、内存、存储和网络等。根据业务容器和大数据容器的需求，规划资源的分配和预留。容器编排与调度工具选择：选择一个适合的容器编排工具，如Kubernetes，...(more)

大数据平台容器化部署后，原有的大数据平台产品（如CDH、星环等）是否还需要，取决于具体的业务需求和场景。首先，容器化部署确实为大数据平台带来了诸多优势，如资源管理、快速部署与迭代、弹性扩展以及更好的可移植性和标准化。这使得大数据应用能够更灵活地应对变化，提高了开发和...(more)

一般需要为计算节点配置单独的shaffle本地盘， 同时通过调度算发，让数据密集型作业尽可能分散到不同的节点，确保不出现存储热点节点。 同时也可以增加作业的内存配置和数量，减少spill到本地的文件数量，减少存储开销。...(more)

不太清楚的时候，可以暂时不去分配，resource的值置空即可。观察统计一下对应的服务，运行一段周期的cpu和memory的波峰波谷的值。再将相关的值填入到request和limit中去