在最近的一次技术峰会上，Meta公司的创始人马克·扎克伯格宣布了一个宏伟的计划，即通过部署600,000个图形处理单元（GPUs）来加强公司的人工智能研究和开发能力。这一举措标志着Meta公司对于AI技术的未来发展充满了信心和决心。
扎克伯格在推特上发布的一个视频中说：“我正在将Meta的人工智能研究工作更紧密地结合起来，以支持我们构建通用智能、负责任地将其开源，以及使其在我们的日常生活中对每个人都可用和有用的长期目标。”扎克伯格的声明是Meta人工智能计划的最新路线图，该计划围绕即将推出的Llama3展开，目前正在对其进行训练。它将接替去年的Llama2模型权重和tokenizer，后者在Huggingface上的总下载量达到200万次，取得了巨大成功，开源开发者还发布了数千个Llama2分支。Llama3将与谷歌最近发布的Gemini模型、OpenAI的GPT-4和即将发布的GPT-5模型展开竞争。OpenAI首席执行官山姆-阿尔特曼（Sam Altman）尚未谈及GPT-5，但他暗示，通过支持更多数据源，GPT-5将更容易处理文本、语音和图像。
扎克伯格表示：“我们计划在今年年末之前，打造一个规模庞大的基础设施来支撑我们的人工智能工作。届时，我们将配备约35万个Nvidia H100 GPU，若将其他类型的GPU计算在内，总数将达到约60万个H100级别的计算能力。”
他进一步指出：“这代表Meta所拥有的GPU数量将超过世界上大约70个国家的总人口。此外，我们也将采用AMD的MI300X GPU。实际上，Meta正以前所未有的速度部署搭载MI300X GPU的服务器。”
Meta工程高级总监Ajit Mathews在去年AMD的一次活动上提到：“MI300X采用了OCP（开放计算项目）模块、标准和平台，这使得我们能够以创纪录的速度采纳这项技术。实际上，MI300X是Meta历史上部署速度最快的解决方案之一。”
Nvidia计划在明年推出其新款H200 GPU，以替代现有的H100 GPU。市场迹象显示，随着H200的产量逐渐增加，Nvidia可能会扩大H100 GPU的生产，因为市场对H100 GPU的需求一直很高。
众多企业都在焦急等待Nvidia GPU的到货，而Meta的35万个GPU订单无疑是一项巨大的需求。Nvidia正在逐步完成这些订单的发货，他们在优先考虑大型客户的同时，也在努力满足那些从比特币挖掘转型为人工智能数据中心的小型企业的订单需求。
Meta也在重构其数据中心，以专注于GPU计算。Meta正在构建具有数千个加速器的巨型集群。核心网络被组织为一个网格，加速器之间的带宽为每秒1tb。该公司在全球拥有21个数据中心，最近一个位于伊利诺伊州迪卡尔布(DeKalb)的数据中心使用可再生能源。
但要实现扎克伯格的终极目标，还需要更多的GPU资源：构建人工通用智能更像是打造一个类似人脑的数字化通用智能系统。
扎克伯格指出：“显然，未来的服务将依赖于构建全面的通用智能，以及打造最优秀的人工智能助手，为创造者作为企业主提供支持，这需要我们在人工智能的多个领域取得突破，包括推理、规划、编程、记忆和其他认知功能。”
他还阐述了元宇宙战略与人工智能计划之间的紧密联系。人类的感官输入，如图像、声音和语音，将被整合进多模态人工智能系统，并在元宇宙中的眼镜和耳机等设备上得到应用。目前，人工智能模型以聊天机器人、文本到图像生成器等多种形式存在，但未来这些模型将融合为一体，以更符合人类处理信息的方式呈现信息。
扎克伯格进一步表示：“人们还将需要新型的人工智能设备，这将人工智能与元宇宙紧密结合。随着时间的推移，我相信我们中的许多人将会在日常中频繁地与人工智能进行交流。”
扎克伯格强调：“这项技术极为关键，它带来的机遇也是巨大的。我们应当将其开源，并以负责任的态度尽可能广泛地分享这项技术，确保每个人都能从中受益。”
作为开源人工智能的倡导者，扎克伯格间接抨击了OpenAI和谷歌在AI领域的闭源做法。这两家公司利用公共研究成果和开源社区来构建自己的AI战略，但最终却为了商业利益而转向闭源。
目前，OpenAI和谷歌的Transformer模型仅限于通过它们的平台获取，微软是个例外，因为它的AI战略是基于OpenAI的GPT模型构建的。
Meta则拥有像PyTorch这样的通用软件平台，它被广泛使用。首席人工智能科学家Yann LeCun在上周达沃斯世界经济论坛的讨论中提到：“这促进了整个领域的发展，因为有更多的人参与其中。”
Meta高度重视其人工智能技术的安全与责任，这一点在其人工智能产品Llama2中得到了体现。鉴于公司过去已经应对了众多政治争议，它可能希望避免引发公众或政治上的任何不利反响。Llama2采用了监督学习的方法来评估结果，这与新一代变换模型中普遍采用的无监督学习模式形成了对比。
尽管扎克伯格尚未透露公司计划何时推出Llama 3，但值得注意的是，去年Meta发布了Llama 1和2，两者的发布间隔大约为十个月。
原文链接：https://www.hpcwire.com/2024/01/25/metas-zuckerberg-puts-its-ai-future-in-the-hands-of-600000-gpus/
0 comments:
Post a Comment