金融行业如何选型大数据平台容器化技术路线落地大数据混部线上探讨 - twt企业IT交流平台 - talkwithtrend，企业IT技术社区，帮助您融入同行！

金融行业如何选型大数据平台容器化技术路线落地大数据混部线上探讨

: dean25软件架构设计师民生银行
关注25
个人主页
Ta的精彩回答
生产应用容器弹性扩缩容使用？
生产环境上在离线业务混合部署实现需要用到k8s的弹性扩缩容，而弹性扩缩容的上限又涉及...0赞同
容器云中flink类型的大数据存储方式？
一般需要为计算节点配置单独的shaffle本地盘，同时通过调度算发，让数据密集型作业尽可...1赞同
如何应用容器，实现异构数据库之间海量数据的快速传输？
如果应用上容器，实现异构数据库之间海量数据的快速传输？不知道您是否这个意思。是指类...1赞同
请问大数据平台容器化后HDFS运行在哪里？
大数据平台容器化之后，flink、spark等计算任务运行到容器上了，那相应原有部署模式下计算...0赞同
大数据平台容器化部署后，原有大数据平台产品还需要吗？
大数据平台容器化部署后，原有大数据平台产品还需要吗？其实这个问题是很多中小金融机构会...0赞同
大数据容器化部署如何实现资源隔离，与非容器相比的优势在什么地方？
针对：大数据容器化部署如何实现资源隔离，与非容器相比的优势在什么地方？我是这么思考的，你...1赞同
K8S大数据平台部署，如何较云化或者本地化大数据平台提升系统稳定性和运行效率？
可以利用好k8s本身的快速隔离恢复机制，在大数据管理组件，比如NM出现异常时及时通过liven...0赞同
大数据平台容器化混合部署，扩容弹性较云化+分布式存储相比的优势和提升在什么地方 ?
大数据平台容器化混合部署，扩容弹性较云化+分布式存储相比的优势和提升在什么地方 ?针...2赞同
容器与大数据能力如何完美集合？
大数据平台容器化后底层容器使用的还是k8s这一套，这个并没有改变。技术方案方案一般...0赞同
容器与大数据结合的实践经验？
关于大数据容器化会有比较专业的厂商或是业界比较成熟的方案，我也谈谈我在大数据和容...0赞同
大数据业务场景下，容器的调度如何进行？
如何实现业务容器与大数据容器的混合调度部署，两者的调度器的逻辑如何进行统一，以达到在...2赞同
如何运维容器环境场景下的大数据业务？
大数据框架组件的监控，可以复用容器平台原有对于在线容器的基础监控能力，并增加一些组件...0赞同
如何实现业务容器与大数据容器的混合调度部署？
需要几个关键能力，包括serverless yarn，大数据作业专用调度器，内核级别的资源优先级控制...0赞同
容器化技术路线落地大数据混部技术选型应该时完全容器化还是部分容器化？
混合部署后，计算部分肯定是完全容器化，存储如hdfs还需要使用传统的hdfs，也就是实现存算分...2赞同
容器化大数据混部后网络隔离策略如何做？离线任务短时间消耗大量的网络，如何避免在线业务不受影响？
如果2个10GB网络还不能满足混合部署的带宽需求，可以考虑通过宿主机的linxu 混部内核+c...0赞同
容器化技术路线落地大数据混部后稳定性如何保障？部分服务要求有状态。？
企业要通过容器技术落地大数据混部，要保证稳定性这块，首先需要确保基础调度组件，如RM，NM的...2赞同
大数据作业容器化部署后日志收集、监控告警、异常诊断如何有效处理？
大数据作业容器化部署后日志收集、监控告警、异常诊断如何有效处理,我可以分享一些我...0赞同
大数据平台物理部署和容器化部署在系统运行稳定性方面有什么区别？
关于大数据平台物理部署和容器化部署，在系统运行稳定性方面，很多人自然会理解物理部署系...0赞同
大数据平台容器化的技术路线有哪些，相比较各自优缺点是什么？
主要是两类，一类是serverless yarn，就是通过yarn方式提交作业到k8s集群，作业管理和日志...0赞同
大数据平台容器化在进行选型POC测试时，需要关注哪些技术指标？
如果是混合部署场景，需要考虑怎样不影响在线应用。另外，需要考虑传统大数据作业迁移到新...0赞同
大数据平台容器化技术如何保障容器之间的通信性能？
建议采用BGP underlay网络，支持大规模集群，性能和物理网卡相当，因为没有隧道，都是走路由...0赞同
大数据容器化如何合理地分配资源、调度容器、实现负载均衡？
通过一个好的调度器，实现负载感知调度，pod间软性反亲和调度，这样负载就会尽可能分散均...0赞同
如何加强容器的安全防护措施，确保数据的安全性和隐私性？
容器之间的隔离虽然提高了系统的安全性，但是容器本身也存在一定的安全风险，容器逃逸主...0赞同
大数据和生产业务混合部署，有哪些手段方法来保证生产业务不受大数据业务的干扰？
根据我们的实践，可以在宿主机的Linux kernel层面对低优的大数据作业资源使用进行压制，...1赞同
大数据容器化性能如何保障？
经过实际测试，同等配置的机器，以容器Pod方式运行作业executor，性能和物理机直接运行execu...0赞同
大数据采用容器化部署，namenode,resoucemanger等管理节点如何动态扩容？
HDFS的namenode和datanode，并没有做容器化改造。容器化改造的是计算部分，存储部分还是...0赞同
大数据与日常应用容器化混合部署，如何合理分配资源？
离线在线混合部署后，主要是错峰运行。夜间(22:00-8:00)之间是在线的低谷期，可以出让较多...0赞同

: jinhaibo技术管理昆仑银行
关注6
个人主页
Ta的精彩回答
生产应用容器弹性扩缩容使用？
在新系统上线到Kubernetes（k8s）时，确实应该考虑对命名空间的CPU和内存的quota进行限制，以...0赞同
为平衡成本和产出，是否存在改造容器云的体量？
为了平衡成本和产出，确实存在改造容器云的体量考量。然而，并没有一个固定的物理节点数量...1赞同
大数据业务场景下，容器的调度如何进行？
在大数据业务场景下，容器的调度是一个关键的环节，它决定了如何有效地利用集群资源以支持...2赞同
大数据采用容器化部署，namenode,resoucemanger等管理节点如何动态扩容？
定义服务发现机制：在容器化部署中，服务发现是一个关键组件，它允许集群中的节点自动发现彼...1赞同

: xuyy数据架构师某银行
关注10
个人主页
Ta的精彩回答
在容器的应用过程中，需要在哪些方面加强信息安全管控？
在容器化环境下，在安全性和隐私性保护上应加强以下方面的问题：（1）容器间的资源和数据隔离（2...1赞同
容器云改造是否适合中小型金融机构？
云计算领域的建设主要集中在IaaS和PaaS，目标是降低数据中心成本的同时，为上层应用的创新...1赞同
K8S大数据平台部署，如何较云化或者本地化大数据平台提升系统稳定性和运行效率？
在当前的大数据场景下，Kubernetes(K8S)作为一种容器编排平台，已经成为大数据平台部署的...0赞同
容器与大数据结合的实践经验？
容器化技术通过共享操作系统，将应用程序及其依赖项打包成一个独立的、可移植的容器，从而...0赞同
大数据平台物理部署和容器化部署在系统运行稳定性方面有什么区别？
容器化技术作为一种轻量级虚拟化技术，已经成为应用部署的主要方式。容器化技术通过共享...0赞同
大数据容器化如何合理地分配资源、调度容器、实现负载均衡？
在大数据容器化环境中实现负载均衡可以通过以下几种方式：(1) 使用容器编排工具：容器编...0赞同
如何加强容器的安全防护措施，确保数据的安全性和隐私性？
(1) 加强访问控制措施采用最小权限原则限制每个用户仅能访问其所需执行任务的资源; 对...0赞同

: jillmeCIO某大型银行
Some people, people who are not talented, talented, and lucky; Some people have no talent, no talent, no luck, but they never give...
关注17
个人主页
Ta的精彩回答
如何应用容器，实现异构数据库之间海量数据的快速传输？
个人认为容器化无法解决海量数据直接的快速传输，采用容器化部署，一般都是使用容器外存储...0赞同
请问大数据平台容器化后HDFS运行在哪里？
个人理解hdfs在容器外，和原来一样，只是原来是直接访问，现在是容器化后挂载存储卷...0赞同
如何加强容器的安全防护措施，确保数据的安全性和隐私性？
如何加强容器的安全防护措施，确保数据的安全性和隐私性？针对这块我谈谈我的一些看法希望...0赞同
大数据容器化性能如何保障？
个人认为这个要分几个方面看，容器化并不是在等量资源条件下可以提升性能。它实现的是降...0赞同

在本场活动提问

活动明星榜

课题专家组

软件架构设计师民生银行

本场活动获赞 12

强哥之神11032

架构师&技术经理上汽集团云计算中心

本场活动获赞 11

课题专家组

技术管理昆仑银行

本场活动获赞 4

联盟成员

数据架构师某银行

本场活动获赞 2

技术支持廊坊市人民医院

本场活动获赞 1

关于TWT 使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
© 2024talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30

X社区推广