comet

每经记者：杨昕怡每经编辑：余婷婷训练大模型的成本之高一直是行业痛点，各路玩家都在思考如何用技术创新把成本“打”下来。3月10日，字节跳动豆包大模型团队发布了针对MoE（混合专家模型）架构的通信优化系统COMET，该方案通过细粒度计算-通信重叠技术，助力大模型训练 ......