如何减少网络对AI训练的影响？

大语言模型由于模型体量大，对GPU显存要求高到一定程度的情况下，需要多机并行训练。在预算许可的情况下，可以采购高带宽的路由器。如果预算有限，可以试用类似英伟达NeMo的训练框架，通过框架提供的优化功能进行提速。