再降

允中 发自 凹非寺量子位 | 公众号 QbitAI FP8 通过其独特的数值表示方式，能够在保持一定精度的同时，在大模型训练中提高训练速度、节省内存占用，最终降低训练成本。 AI大模型开发系统 Colossal-AI 的 混合精度训练再度升级 ，支持主流的BF16(O2) + FP8(O1)...