标签：comet

效率提升1.71倍，字节削减MoE训练成本，AI玩家纷纷开源新技术为哪般？

每经记者：杨昕怡每经编辑：余婷婷训练大模型的成本之高一直是行业痛点，各路玩家都在思考如何用技术创新把成本“打”下来。3月10日，字节跳动豆包大模型团队发布了针对MoE（混合专家模型）架构的通信优化系统COMET，该方案通过细粒度计算-通信重叠技术，助力大模型训练 ......