当摩尔人线入侵人工智能主战场时，凡卡神父面临着三个严重的问题！

在大型模型时代，规模定律已成为新的科学基准，类似于牛顿定律。追求更大的模型和更强的计算能力已成为商业竞争的基础，这种追求因其戏剧性的后果而被视为 "残酷的美学"：2024 年，所有大型模型将至少拥有 1000 亿个参数，Llama3 将超过 4000 亿个、GPT4将超过1.8万亿。在这种情况下，拥有超过 10,000,000 个地图的超大算术集群是行业标准。

英伟达最大的客户，如 META、微软、谷歌和亚马逊，在 2023 年购买了 50,000 至 150,000 块 H100 显卡；META 和谷歌在超级计算机中分别购买了超过 24,576 和 26,000 块 H100 显卡。显卡。这些发展表明，全球正在进行计算能力的军备竞赛。

万卡集群已成为人工智能竞争力的象征，但建造这样的集群在技术上难度极大，国内在这方面的发展也相对缓慢。世界上能够生产通用性极强的万卡级 GPU 的公司寥寥无几。

图片来源： www.arady.net

中国工程院学者郑为民指出，"建设国产WANKA集群难度很大，但非常重要"。近日，Moorethread发布了KwaE WANKA智能计算集群，这是一款集 "超大规模、高通用性和环境友好 "于一身的国产GPU WANKA集群。这标志着国产 GPU 正式进入 WANKA 时代。

摩尔线程公司创始人张建中解释说，从 1,000 张卡到 10,000 张卡的飞跃不仅意味着数量的增加，也意味着系统工程复杂性的十倍增长：要实现 10,000 张卡和 10,000 个 Ps 的计算能力，需要采用系统工程方法，通过精心设计和全面的硬件和软件优化来解决超大型网络的互连问题。要实现 10,000 张卡和 10,000 个 Ps 的计算能力，需要采用系统工程方法，通过精心设计和全面优化硬件和软件来解决超大型网络的互连问题。

图片来源： www.horiin.com

通过利用高密度硬件配置、高性能无阻塞网络连接以及更高的并行通信和计算模式，Qua'e 的 10,000 页集群可扩展至每个集群 10,000 次浮点运算和超过 10 exaflops。可提供

此外，高带宽、大容量显存和下一代卡对卡互联技术的开发，使 KwaE-WANKA 集群的数据传输速率翻了一番，节点总吞吐量达到每秒 PB 级，双环拓扑结构和计算能力也达到了极高水平、显存和带宽的系统优化大大提高了集群的计算性能。

图片来源： www.lacitabb.com

关于 MFU（集群的有效计算能力）的提高，GPU 数量的增加与计算能力的提高并不成正比，因此需要明确一系列问题，包括芯片计算能力、显存访问能力、板卡之间的带宽以及分布式并行策略。

Moore Threads 针对 Qua'e 平台上的分布式并行计算进行了大幅优化，深度集成了高性能算术库和编译器、优化的并行策略和集成通信库，使 10 000 个 Qua'e 集群能够提供自适应混合并行支持、优化的视频内存和内存池管理、对超长训练序列的支持，以及优化器和直接计算的定量加速，有助于实现

在稳定性方面，分布式学习的同步性意味着单个板卡的故障可能导致整个任务的失败；通过嵌入式全栈软件和硬件命中点高效收集系统数据，可实现对由 10,000 个板卡组成的 KwaE 集群的监控。它是通过将高效收集、分钟级软件和硬件故障定位、二级数据存储和分钟级训练任务恢复结合在一起来实现的，这大大缩短了发现和解决问题的时间，并实现了高效的不同步学习。该系统基于以下原则。

Kwa e Wanka 集群的稳定性已达到超长期稳定的 "月度水平"，平均连续运行 15 天，稳定训练时间长达 30 天，平均每周训练效率超过 99%。

人工智能的未来不仅仅是规模和计算，还有通用性。摩尔线程创始人张建中强调：规模足够大，计算具有通用性，可持续性是 "好用例 "的关键。从变压器到更复杂的架构，这些变化需要计算能力的通用性。

Qua E Wanka 集群具有业内罕见的多功能性。它支持人工智能、物理建模、三维渲染和高性能计算等多种应用场景，是加速计算的多功能平台。得益于全功能 GPU 的技术优势，Moore Threads 在图形渲染、科学计算和超级计算等多个领域拥有深厚的专业知识，并支持多种加速服务。

环境兼容性对于大型家用机型也很重要。家用 GPU 需要在硬件和软件上实现 CUDA 兼容性，然后才能进入自我超越阶段。借助高效且用户友好的 MUSA 编程语言和兼容 CUDA 的 Musify 自动迁移工具，Moorethread 可以加速新机型的迁移，实现 "即时 "环境兼容性，帮助客户快速上线业务。

万卡人工智能已成为人工智能主战场的标准配置。Moore Yarn展示了Kwa E Wanka集群，并与中国移动、中国联通等大公司签署了战略合作协议，称国产计算不仅 "可用"，而且 "好用"。