构建离产业最近的AI 腾讯混元参数已超万亿
IT时报记者 郝俊慧 连续七届参加世界人工智能大会的腾讯,再次将表达的重点放到大模型行业和应用上。 经历了一年半技术狂飙后,国产大模型的数量已经超过200个,2024年也被称为大模型落地元年。但作为国内互联网头部大厂,腾讯始终走得不疾不徐。 大模型的打...
Meta 构建分布式 RoCEv2 网络:探索串联数万片 GPU 训练 AI
IT之家 8 月 7 日消息,Meta 公司于 8 月 5 日发布博文,表示为了满足大规模分布式 AI 训练对网络的需求,构建了基于 RoCEv2 协议的大规模 AI 网络。 RoCEv2 的全称是 RDMA Over Converged Ethernet version 2,是一种节点间通信传输方式,用于大部分人工智...