由于受到美国的科技制裁,企业能购买到的英伟达GPU性能不断下降且货期长达几个月甚至半年之久,拿英伟达最新的LS20产品为例,性能仅仅为之前的A100的60%-70%左右,货期长达2-3个月。目前国产厂商能提供GPU卡的厂商也十分有限,如华为的昇腾、曙光的DCU,但产品的算力水平、模型适配性、开发的生态圈和英伟达相差甚远。
2023年是大模型的元年,chatGPT的出现对软件技术类工作、新闻媒体类工作、法律类工作、金融工作者、学术研究者等各行各业产生了深远影响,各大金融机构、科技大厂都在构建自己的大模型算力平台,但如何在GPU算力卡、IB交换机受限的情况下搭建算力池是每个金融科技企业必须思考的问题。
目前,针对大型国有行算力池的搭建,基于k8s,docker云平台并采用英伟达和国产GPU厂商混搭的方式组建大型的算力资源池。使用云计算平台的统一的管理能力,应该如何合理的划分大模型训练集群,大模型的微调集群、大模型的推理集群和普通模型的训练推理集群等,并合理的分配计算资源供不同的部门使用。
在英伟达GPU性能不断剪裁的情况下,金融行业的大模型资源池建设需要综合考虑多个方面,以确保模型的训练和应用能够顺利进行。以下是一些建议:
硬件选型与配置 :
资源池架构设计 :
软件优化与协同 :
存储与网络优化 :
安全与合规性 :
运维与管理 :
综上所述,在英伟达GPU性能不断剪裁的情况下,金融行业的大模型资源池建设需要综合考虑硬件、软件、存储、网络、安全和运维等多个方面。通过合理的规划和优化,可以确保资源池的稳定性和高效性,为金融行业的模型训练和应用提供有力支持。
针对这个问题,可以考虑以下几个方面: