针对：大数据容器化部署如何实现资源隔离，与非容器相比的优势在什么地方？我是这么思考的，你可以看看是否有解答你的问题：通过宿主机的linux kernel实现优先级控制，确保资源使用优先级低于在线服务。与传统方式相比，容器化的大数据作业可以运行在在线应用使用的集群，利用在线集群...

大数据平台容器化部署后，原有大数据平台产品还需要吗？其实这个问题是很多中小金融机构会面临遇到的问题，我是这样思考的希望能对你有帮助。存量的传统大数据集群产品还会保留，和容器化的大数据平台并行，但是不会再进行扩容了。新增作业都上容器化的大数据平台，可以和在线应用共...

个人理解hdfs在容器外，和原来一样，只是原来是直接访问，现在是容器化后挂载存储卷

为了平衡成本和产出，确实存在改造容器云的体量考量。然而，并没有一个固定的物理节点数量作为是否适合改造容器云的明确界限，因为是否适合改造容器云更多地取决于特定的业务需求、技术架构、资源利用情况等因素。不过，以下是一些在考虑是否改造容器云时可以考虑的因素：业务规模...

金融行业一般技术会选择比较稳定、成熟的，所以虚拟化、超融合这种应该会有广泛使用。如果没有很强烈的愿望，比如降本增效、方便运维与资源管理等、其实不建议改造，虽然容器云是一个趋势。目前，金融监管机构应该不会有对容器云有强制要求，对数据安全和隐私保护方面倒是有的。...

加强容器镜像安全（比如：确保使用来自信任来源的基础容器镜像，审查基础镜像的内容和配置，避免使用未经验证或存在安全漏洞的镜像。 ）、容器运行时安全（比如：使用容器运行时的安全特性 cgroup，及最小化容器权限）、网络安全（networkpolicy，结合容器网络实现网络隔离）、资源访问控制（rbac，n...

一般需要为计算节点配置单独的shaffle本地盘， 同时通过调度算发，让数据密集型作业尽可能分散到不同的节点，确保不出现存储热点节点。 同时也可以增加作业的内存配置和数量，减少spill到本地的文件数量，减少存储开销。...

容器弹性有HPA/VPA及集群的cluster autoscaler，对应Quota如何配置合理，我的建议如下：根据应用类型设置 Quota ：对于不同类型的应用（如离线批处理和在线服务），设置不同的 Quota。离线批处理任务可以设置较低的优先级和资源请求，而在线服务则需要更高的资源保障。逐步调整 ：新系统...