gpu

作者 |晶上世界来源 |晶上世界生成式AI带来无限商机，但我们仍然面临着一个阻碍广泛采用的巨大挑战：运行推理的高昂成本。训练大型语言模型（LLM）涉及的成本相当惊人，主要体现在对大量GPU的需求及随之而来的高额电费上。据分析师预测，Meta在2024年可能需耗资约150亿 ......

“春节期间我们都在忙碌，好不容易盼来一个这么优秀的模型，没有比这更有意义的春节了。” 开源中国董事长马越告诉第一财经，开源中国旗下一站式大模型托管平台Gitee AI在DeepSeek-R1火出圈后迅速与多家国产芯片厂商推进了模型适配工作。而DeepSeek的冲击波也直接传递给 ......

DeepSeek同时考虑算法精度和系统效率。除了极致的底层优化，协同优化也可能让大模型在利用国产算力时达到甚至超越英伟达GPU的性能。从最顶层的产品应用到底层的基础设施，大模型的每一个层级都已经形成了非常好的生态，每一个层级上都存在着优化空间。未来推理算力或将 ......