介绍

每年三月，科技巨头们都会展示他们最新的产品和研究成果。在这个潮流中，Meta公司（前身为Facebook）也加入了秀新技术的行列，公布了他们即将发布的LLama 3的H100集群细节。

Meta的AI布局

自去年发布了Llama 2和其后续模型以来，Meta一直在寻求提升其在AI开源领域的影响力。尤其是在开源社区中，Meta被视为重要的支持者和贡献者。

H100集群细节

Meta计划在2024年底之前，拥有35万个英伟达H100GPU，并且未来将达到60万个H100的算力储备。然而，仅仅拥有大量的GPU是不够的，如何有效地组织这些硬件资源是至关重要的。

网络和存储细节

Meta公布了由24576个H100GPU组成的集群细节。这些集群采用了RoCEv2网络，存储方面基于Tectonic/Hammerspace的NFS/FUSE解决方案。此外，Meta还进行了一系列的优化，包括对NCCL的一些补丁和交换机优化，以实现高效的网络带宽。

性能和创新

Meta旨在提高人工智能集群的性能和易用性，并且不断进行系统优化和测试。他们与团队合作，不断改进培训框架和模型，以适应不断发展的基础设施。

致力于开放式创新

Meta始终致力于开放式硬件和软件的创新，并积极支持开源社区。他们提供了Grand Teton等设计，并且是PyTorch的主要贡献者之一。此外，Meta还启动了开放创新人工智能研究社区和人工智能联盟，旨在加速人工智能领域的负责任创新。