离线在线混合部署后，主要是错峰运行。夜间(22:00-8:00)之间是在线的低谷期，可以出让较多的CPU计算资源给大数据，比如40%-45%。白天(8:00-18:00) 是在线应用的高峰期，可以出让比如15%-20%的资源给大数据作业；晚上(18:00-22:00)在线业务负载相比白天下降，可以出让30%的资源给大...

大数据平台容器化混合部署，扩容弹性较云化+分布式存储相比的优势和提升在什么地方 ?针对你这个话题，我是这样的思考，你可以看看是否有解答：容器相比云化虚机，弹性能力是数量级的提升。大数据容器化后做混合部署，可以复用容器的弹性能力，实现大数据作业的serverless化，即无需为大...

通过在 K8S 上部署大数据平台，可以利用其强大的资源管理（比如业务资源的配置request/limit）、高可用性（比如deployment等控制副本数，健康检查等）、自动扩缩容（比如弹性能力hpa/vpa等 ）、统一管理和监控（比如集成promethues/grafana等）、CI/CD 集成（比如：jenkins/gitlab ci等）、网络（比...

针对：大数据容器化部署如何实现资源隔离，与非容器相比的优势在什么地方？我是这么思考的，你可以看看是否有解答你的问题：通过宿主机的linux kernel实现优先级控制，确保资源使用优先级低于在线服务。与传统方式相比，容器化的大数据作业可以运行在在线应用使用的集群，利用在线集群...

根据需求，主要是处理30亿条交易数据，并利用机器学习为交易地址打上标签，使用Hadoop和Spark是一个合适的大数据平台方案。数据量：Hadoop适合存储海量的数据，并提供了多种技术组件用于查询和分析，由于本需求是30亿条数据进行存储和处理，所以选择Hadoop是合适的。Spark是基于内存的...

在当前的银行系统中，业务部门获取数据的方式确实存在一定的困难和门槛。为了降低业务部门对技术的关注度并增加对数据的关注度和分析，利用大模型实现类似于ChatGPT的问答方法是一个有前景的方向。这种方法可以使业务人员通过自然语言提问，然后由模型返回可执行的SQL查询，从而...

结合我们行的情况，要想对数据进行分类分级，先要进行数据资产的梳理，一般厂商数据分类分级平台都有一个简单的资产梳理功能，是基于数据库层面而非业务层面的资产梳理。根据资产梳理的情况，根据 中国人民银行发布《金融数据安全 数据安全分级 指南 》(JR/T 0197—2020) 进行数据...

科研大数据需要的硬件需要结合建设内容。如果是传统的客养大数据平台，主要的工作数数据采集处理存储机上NLP，普通的集群和存储也可以满足，但是内存需要的资源会多一些，存储资源要大，毕竟基于数据的处理，可以考虑SSD。如果是多模态的科研平台，包括需要在这个科研平台上嫁接大模型...

其实这个问题都不知道咋个回答。大数据平台使用的元数据库，可能每家都不太一样。例如华为的源数据库可能用的是它自己的gaussdb，其他厂商有的用mysql。针对mysql，我想这些大数据厂商基本用的都是社区版本的开源mysql吧，针对这部分性价比真的就没啥区别吧。除非它改动了开源版...