黄仁勋：GPU服务器集群将消耗11千兆瓦时电力
NVIDIA首席执行官黄仁勋进行了演讲。
在演讲中，黄仁勋向传统的CPU服务器集群发起“挑战”，认为在人工智能和加速计算这一未来方向上，GPU服务器有着更为强大的优势。
根据黄仁勋在演讲上展示的范例，训练一个LLM大语言模型，将需要960个CPU组成的服务器集群，这将耗费大约1000万美元(约合人民币7070万元)，并消耗11千兆瓦时的电力。
相比之下，同样以1000万美元的成本去组建GPU服务器集群，将以仅3.2千兆瓦时的电力消耗，训练44个LLM大模型。
如果同样消耗11千兆瓦时的电量，那么GPU服务器集群能够实现150倍的加速，训练150个LLM大模型，且占地面积更小。
而当用户仅仅想训练一个LLM大模型时，则只需要一个40万美元左右，消耗0.13千兆瓦时电力的GPU服务器即可。
换言之，相比CPU服务器，GPU服务器能够以4%的成本和1.2%的电力消耗来训练一个LLM，这将带来巨大的成本节省。
内容搜集整理于网络，不代表本站同意文章中的说法或者描述。文中陈述文字和内容未经本站证实，其全部或者部分内容、文字的真实性、完整性、及时性本站不做任何保证或者承诺，并且本站对内容资料不承担任何法律责任，请读者自行甄别。如因文章内容、版权和其他问题侵犯了您的合法权益请联系邮箱：5 146 761 13 @qq.com 进行删除处理，谢谢合作！
