当金融行业选择训推一体化架构建设大模型时,需要提前考虑那些方面的因素,通过那些方面进行可行性分析?

当金融行业选择训推一体化架构建设大模型时,需要提前考虑那些方面的因素,通过那些方面进行可行性分析?显示全部

当金融行业选择训推一体化架构建设大模型时,需要提前考虑那些方面的因素,通过那些方面进行可行性分析?

收起
参与21

查看其它 6 个回答leonardo1216的回答

leonardo1216leonardo1216研发工程师某金融机构

1、多样化算力,目前算力架构还比较“烟囱”,如果被某一个算力厂商绑死,存在潜在风险
2、虚拟化,云化算力的好处不只是提供了云上管理的简单实现,也能为算力充分复用提供前提。
3、训推一体,性能要以训为主,数量要以推为主,这种结构实际上是存在失衡错配的。可能需要通过虚拟化基础上的动态调度实现。
4、训推过程不是一个一致性流水线,训练可能需要大量迭代,里面涉及到的核心是数据和检查点等,需要进行配套基础设施和管理机制的提前储备。

银行 · 2024-01-15
浏览404

回答者

leonardo1216
研发工程师某金融机构

leonardo1216 最近回答过的问题

回答状态

  • 发布时间:2024-01-15
  • 关注会员:8 人
  • 回答浏览:404
  • X社区推广