容器化部署为大数据平台带来了显著的灵活性和资源利用优势，但并不意味着必须放弃现有的大数据平台产品。通过结合CDH、星环等成熟的大数据平台产品与容器化技术，可以构建更高效、灵活和稳定的大数据解决方案。在做出决策时，我觉得应综合考虑企业的规模、业务需求、技术能力...(more)

谢谢分享 谢谢分享

通过资源隔离（比如采用K8S不同的namespace并分配不同的租户quota)、容器的namespace及cgroup特性实现进程级别的隔离、通过资源限制（不同的limit、request，quota等）实现资源的分配。非容器化部署的话，一般资源分配依赖物理或虚拟机的划分，缺乏灵活性，应用进程间也可能互相干扰，影...(more)

这个需要结合Flink任务的需求和集群实际情况，来选择存储方式，我们可以结合本地存储、持久卷和高速分布式存储，以满足不同阶段和任务的需求。例如，临时数据和中间结果可以使用本地存储，高频访问数据可以放在内存存储，持久化数据则放在分布式存储 。 比如，在高IO需求的短期任务中...(more)

通过资源隔离（比如采用K8S不同的namespace并分配不同的租户quota)、优先级和抢占（采用不同的PriorityClass ）、资源限制（不同的limit、request，quota等）、监控和自动化调整（如 Prometheus 和 Grafana ，结合HPA/VPA等）、队列和调度策略以及独立的存储和网络配置等手段，可以有效保障...(more)

原有部署模式下计算任务读写数据存储的HDFS通常也会在容器化环境中部署，但需要注意以下几点：1、HDFS可以作为独立的服务容器化部署，或者作为容器内的数据卷挂载到计算任务的容器中。通常会使用分布式存储系统（如Ceph、GlusterFS）来实现数据持久化和共享。2、 计算任务容器和HD...(more)

1、对于部分要求有状态，那么确保有状态服务的数据可靠性和可扩展性，可以使用分布式存储系统 。（比如ceph,hdfs,glusterfs等)2、设计和部署要实现高可用架构，避免单点故障影响系统稳定性。 （比如：多副本部署、负载均衡等）3、要使用自动化工具和监控系统，确保及时发现和解决问题，保...(more)