发布于:2023-05-21 08:13 阅读次数:
-Meta已经定制了计算机芯片来帮助其人工智能和视频处理任务,并首次公开谈论它们。
这家社交网络巨头本周早些时候首次向记者披露了其内部的硅芯片项目,然后在周四讨论了其人工智能技术基础设施投资的虚拟活动。
投资者一直密切关注Meta在人工智能和相关数据中心硬件方面的投资,因为该公司已经开始了一个“效率年”,其中包括至少2.1万人的裁员和大幅削减成本。
尽管对于一个公司来说,设计和制造自己的计算机芯片是非常昂贵的,基础设施副总裁Alexis Bjorlin告诉美国消费者新闻与商业频道,
Meta相信性能的提高将会证明投资的合理性。该公司还在改革其数据中心的设计,更加关注节能技术,如液体冷却,以减少多余的热量。
一种新的计算机芯片,Meta可伸缩视频处理器(MSVP),用于处理和传输视频给用户,同时减少能源需求。比约林表示,“没有任何商业产品”能够像Meta希望的那样,每天高效地处理和传输40亿个视频。
另一个处理器是该公司元训练和推理加速器(MTIA)中的第一个处理器。
该芯片系列旨在帮助完成人工智能特有的各种任务。新的MTIA芯片擅长“推理”,即经过训练的人工智能模型做出预测或采取行动。
比约林表示,新的人工智能推理芯片有助于为Meta的一些推荐算法提供动力,这些算法用于显示人们新闻提要中的内容和广告。她拒绝回答是谁在制造芯片,但一篇博客文章说,处理器是“由TSMC的7纳米工艺制造的”。
这表明芯片巨头TSMC正在生产这项技术。
她说,Meta已经为其人工智能芯片家族制定了“多代路线图”,包括用于训练人工智能模型的处理器,但她拒绝提供新推理芯片以外的细节。路透社此前报道称,Meta取消了一个人工智能推理芯片项目。
并启动了另一个预计在2025年左右启动的项目,但比约林拒绝对该报告发表评论。
她表示,由于Meta不像谷歌母公司Alphabet或微软那样从事销售云计算服务的业务,该公司并不觉得有必要公开谈论其内部数据中心芯片项目。
“如果你看看我们分享的东西,——,我们开发的前两个芯片,——,它肯定会让我们对我们内部正在做的事情有一些想法。”比约林说,“我们不需要宣传这个,我们也不需要宣传这个,但是你知道,世界对此很感兴趣。”
Meta Engineering副总裁Aparna Ramani表示,该公司的新硬件是为了有效配合其在当地开发的PyTorch软件而开发的。
PyTorch软件已经成为第三方开发者创建人工智能应用程序最受欢迎的工具之一。
新硬件最终将用于支持与虚拟现实和增强现实相关的任务,以及新兴的生成式人工智能领域,生成式人工智能通常是指可以创建引人注目的文本、图像和视频的人工智能软件。
拉马尼还表示,Meta已经为该公司的开发人员开发了一款生成式人工智能编码助手,帮助他们更轻松地创建和操作软件。
新助手类似于微软在人工智能初创公司OpenAI的帮助下于2021年发布的GitHub Copilot工具。
此外,Meta表示,它已经完成了其超级计算机Research super cluster(RSC)的第二阶段(即最终阶段)的构建,该公司去年对此进行了详细介绍。
Meta使用包含16000个Nvidia A100 GPUs的超级计算机来训练该公司的美洲驼语言模型,以及其他用途。
拉马尼表示,Meta继续坚持其信念,即应该为开源技术和人工智能研究做出贡献,以推动技术领域的发展。该公司披露,其最大的LLaMA语言模型LLaMA 65B包含650亿个参数,
并在1.4万亿个tokens上进行训练,这些tokens指的是用于人工智能训练的数据。
OpenAI和谷歌等公司尚未公开披露其竞争对手大型语言模型的类似指标,尽管CNBC本周报告称,谷歌的PaLM 2模型是在3.6万亿个tokens上训练的,包含3400亿个参数。
与其他科技公司不同,Meta向研究人员发布了其LLaMA语言模型,以便他们可以从这项技术中学习。然而,LLaMA语言模型随后被泄露给了更广泛的公众,导致许多开发者构建了包含该技术的应用程序。
拉马尼说,Meta“仍然在考虑我们所有的开源合作,当然,我想重申,我们的理念仍然是开放科学和交叉合作。”