发布于:2023-11-15 13:28 阅读次数:
周一,英伟达发布了H200,这是一种图形处理单元(GPU),旨在训练和部署各种人工智能模型,推动生成式人工智能的热潮。
这个新的GPU是OpenAI用来训练其最先进的大规模语言模型GPT-4的H100芯片的升级版本。大公司、初创企业和政府机构都在争夺有限的芯片供应。
Raymond James称,H100芯片的成本在25000美元到40000美元之间。在一个被称为“训练”的过程中,成千上万的芯片需要协同工作才能做出最大的模型。
英伟达AI GPU的兴奋提振了该公司的股价。到目前为止,该公司股价在2023年的涨幅超过了230%。英伟达预计第三季度营收约为160亿美元,同比增长170%。
H200的关键改进在于,它包含141GB的下一代“HBM3”内存,这将有助于芯片“推理”,即在训练后使用大型模型生成文本、图像或预测。
英伟达表示,H200的输出速度将是H100的近两倍。这是基于Meta的Llama 2 LLM测试的结论。
H200预计在2024年第二季度推出,将与AMD的MI300X GPU竞争。与H200类似,AMD芯片的内存比其前辈更大,这有助于在硬件上安装大型模型来运行推理。
英伟达表示,H200将兼容H100,这意味着接受过使用以前型号培训的人工智能公司不需要改变他们的服务器系统或软件来使用新版本。
英伟达表示,它将在该公司的HGX完整系统上提供四到八个GPU服务器配置,以及一个名为GH200的芯片,该芯片将H200 GPU与基于Arm的处理器配对。
不过H200可能不会长期占据英伟达最快AI芯片的头衔。
虽然像英伟达这样的公司提供了许多不同的芯片配置,但新的半导体通常每两年就会向前迈出一大步,因为制造商会转向不同的架构,这比添加内存或其他微小的优化能够带来更显著的性能提升。
H100和H200都是基于英伟达的Hopper架构。
今年10月,英伟达告诉投资者,由于对其GPU的高需求,它将从两年的架构周期变为一年的发布周期。公司展示了一张幻灯片,
有人建议,它将在2024年宣布并发布基于即将推出的Blackwell架构的B100芯片。