10000倍

编辑：alan 【新智元导读】 近日，Nous Research宣布了一项重大突破，通过使用与架构和网络无关的分布式优化器，研究人员成功将训练LLM时GPU间的通信量降低了1000到10000倍！如果可以使用世界上所有的算力来训练AI模型，会怎么样？ 近日，凭借发布了开源的He...