近日，在上(shang)海世界人工智能大会期间，国产GPU创企摩尔(er)线程宣布对其夸娥（KUAE）智算集群(qun)解决方案进(jin)行重大升级，从当前千(qian)卡级别大幅扩展(zhan)至万卡规模。该(gai)集群(qun)以全功能GPU为底座(zuo)，旨(zhi)在打造(zao)能够承载万卡规模、具备万P级浮点运算能力的国产通用加速计算平台。
摩尔(er)线程创始人兼CEO张(zhang)建中向观察者网(wang)表示，相(xiang)信通用人工智能（AGI）一定(ding)会到(dao)来。之前没有万卡集群(qun)，有些模型在千(qian)卡集群(qun)上(shang)无法训练出来，“当万卡集群(qun)建起(qi)来，Scaling（扩展(zhan)性）往上(shang)走，准确度、精度、IQ能力都在提升的话，有了实际价值，就会建下一个集群(qun)。”
在现(xian)场，摩尔(er)线程联合中国移动通信集团青海有限公司、中国联通青海公司、北京德道信科集团、中国能源建设股份有限公司总承包公司、桂林华崛大数(shu)据科技有限公司等(deng)，分别就三个万卡集群(qun)项目进(jin)行了战略签约，多方将聚力共同构建好用的国产GPU集群(qun)。
摩尔(er)线程CEO张(zhang)建中 图源：观察者网(wang)
万卡集群(qun)已成入场券
大模型自问世以来，关于其未来的走向和发展(zhan)趋势亟待时间验证，但从当前来看，几种演进(jin)趋势值得关注，使得其对算力的核心需求也愈发明晰(xi)。
首先，Scaling Law将持续奏效。Scaling Law自2020年提出以来，已揭(jie)示了大模型发展(zhan)背后的“暴力美学”，即通过算力、算法、数(shu)据的深度融合与(yu)经(jing)验积累，实现(xian)模型性能的飞(fei)跃，这(zhe)也成为业界公认的将持续影响未来大模型的发展(zhan)趋势。Scaling Law将持续奏效，需要单点规模够大并(bing)且通用的算力才能快速跟上(shang)技术(shu)演进(jin)。
其次，Transformer架构不能实现(xian)大一统，和其他架构会持续演进(jin)并(bing)共存，形成多元化的技术(shu)生态。生成式AI的进(jin)化并(bing)非仅依赖于规模的简单膨胀，技术(shu)架构的革新(xin)同样至关重要。
Transformer架构虽然是(shi)当前主流，但新(xin)兴架构如Mamba、RWKV和RetNet等(deng)不断刷新(xin)计算效率，加快创新(xin)速度。随着(zhe)技术(shu)迭代与(yu)演进(jin)，Transformer架构并(bing)不能实现(xian)大一统，从稠密到(dao)稀(xi)疏模型，再到(dao)多模态模型的融合，技术(shu)的进(jin)步都展(zhan)现(xian)了对更高性能计算资源的渴望。
与(yu)此同时，AI、3D和HPC跨技术(shu)与(yu)跨领域(yu)融合不断加速，推动着(zhe)空间智能、物理AI和AI 4Science、世界模型等(deng)领域(yu)的边界拓展(zhan)，使得大模型的训练和应(ying)用环(huan)境(jing)更加复杂(za)多元，市场对于能够支持AI+3D、AI+物理仿真(zhen)、AI+科学计算等(deng)多元计算融合发展(zhan)的通用加速计算平台的需求日益迫切。
多元趋势下，AI模型训练的主战场，万卡已是(shi)标配。随着(zhe)计算量不断攀升，大模型训练亟需超级工厂，即一个“大且通用”的加速计算平台，以缩短训练时间，实现(xian)模型能力的快速迭代。当前，国际科技巨头都在通过积极部(bu)署千(qian)卡乃至超万卡规模的计算集群(qun)，以确保大模型产品的竞争(zheng)力。随着(zhe)模型参数(shu)量从千(qian)亿(yi)迈向万亿(yi)，模型能力更加泛化，大模型对底层算力的诉求进(jin)一步升级，万卡甚至超万卡集群(qun)成为这(zhe)一轮大模型竞赛的入场券。
然而构建万卡集群(qun)并(bing)非一万张(zhang)GPU卡的简单堆叠，而是(shi)一项高度复杂(za)的系统工程。
摩尔(er)线程CEO张(zhang)建中对观察者网(wang)表示，算力集群(qun)不光是(shi)一个计算GPU，怎么把它组织成一个大的网(wang)络，相(xiang)互之间的通讯效率还(hai)可以更高，去满足MFU（算力利用率）达到(dao)60%的最优目标，这(zhe)要靠网(wang)络通讯、计算存储(chu)一起(qi)来解决。“只有软(ruan)硬件结合，才能把整(zheng)个集群(qun)算力发挥到(dao)最高。否则用户(hu)买(mai)了一万卡，可能还(hai)没有2000卡的效率高，那规模上(shang)就没有效果(guo)了。”
摩尔(er)线程GPU 图源：观察者网(wang)
能否打破英伟(wei)达一家独大？
据摩尔(er)线程介绍，夸娥（KUAE）是(shi)该(gai)公司的智算中心全栈解决方案，以全功能GPU为底座(zuo)，软(ruan)硬一体化、完整(zheng)的系统级算力解决方案，包括以夸娥计算集群(qun)为核心的基础设施、夸娥集群(qun)管理平台（KUAE Platform）以及夸娥大模型服务平台（KUAE ModelStudio）等(deng)。
基于对AI算力需求的深刻洞察和前瞻性布局，摩尔(er)线程夸娥智算集群(qun)可实现(xian)从千(qian)卡至万卡集群(qun)的无缝扩展(zhan)，旨(zhi)在满足大模型时代对于算力“规模够大+计算通用+生态兼容”的核心需求，整(zheng)合了超大规模的GPU万卡集群(qun)、极致的计算效率优化以及高度稳定(ding)的运行环(huan)境(jing)。
“我们现(xian)在万卡集群(qun)还(hai)没有搭建，已经(jing)在用的是(shi)千(qian)卡级集群(qun)。当用户(hu)要在我们的千(qian)卡上(shang)训练一个大模型时，如果(guo)是(shi)已经(jing)适配过的，基本上(shang)不需要做任何工作。如果(guo)是(shi)第一次适配，可能当天或者几个小(xiao)时之内就可以在我们的平台上(shang)跑起(qi)来，但是(shi)性能调优是(shi)一个比较花时间的工作，因为不同模型使用方法不一样，国外(wai)不同的芯片厂策略不一样。”张(zhang)建中说道。
“我们的产品跟国内外(wai)主流生态在兼容性方面做的很(hen)好，开发者移植到(dao)夸娥集群(qun)上(shang)，几乎(hu)不需要修改代码，迁移成本接近0，可以在数(shu)小(xiao)时之内完成迁移。当然用户(hu)可能需要花数(shu)天时间去调优性能，但整(zheng)体迁移成本很(hen)低，并(bing)不需要几周时间。”摩尔(er)线程CTO张(zhang)钰勃(bo)补(bu)充称。
当前，国产GPU的主要策略就是(shi)先兼容英伟(wei)达CUDA生态，把用户(hu)迁移成本尽量降低，那在这(zhe)种举措下，像摩尔(er)线程、天数(shu)智芯等(deng)国产GPU，能否打破英伟(wei)达一家独大？
“这(zhe)是(shi)一个很(hen)难回答的问题，首先在美国，那么多公司抢(qiang)不到(dao)英伟(wei)达的份额，说明英伟(wei)达还(hai)是(shi)很(hen)强(qiang)的，用户(hu)是(shi)用脚(jiao)投(tou)票的。但在国内不一定(ding)，因为某些原因受限，这(zhe)样国产GPU就有机会。所以我相(xiang)信中国市场格局和美国可能会完全不一样。”张(zhang)建中对观察者网(wang)说道。
在发布会现(xian)场，摩尔(er)线程携(xie)手中国移动通信集团青海有限公司等(deng)，分别就青海零碳产业园万卡集群(qun)项目、青海高原夸娥万卡集群(qun)项目、广(guang)西东盟万卡集群(qun)项目战略签约。发布会后，无问芯穹、清程极智、360、京东云、智平方等(deng)五家企业登台，分享了摩尔(er)线程夸娥智算集群(qun)如何助力其在大模型训练、大模型推理、具身智能等(deng)不同场景和领域(yu)的创新(xin)。