近日，在上海世界人工智能(neng)大会期(qi)间，国产GPU创企摩尔线(xian)程宣(xuan)布对其夸娥（KUAE）智算集群解决方案进行重大升级，从当前(qian)千卡级别大幅扩展至万卡规模(mo)。该集群以全(quan)功能(neng)GPU为底座，旨在打造能(neng)够承载万卡规模(mo)、具备万P级浮点运算能(neng)力(li)的国产通用加速计算平(ping)台。
摩尔线(xian)程创始人兼CEO张建中向观(guan)察者网(wang)表(biao)示，相信通用人工智能(neng)（AGI）一(yi)定会到来。之前(qian)没有万卡集群，有些模(mo)型在千卡集群上无法训练出来，“当万卡集群建起(qi)来，Scaling（扩展性）往上走，准(zhun)确度、精度、IQ能(neng)力(li)都在提升的话，有了实际价值，就会建下一(yi)个集群。”
在现场，摩尔线(xian)程联合中国移动(dong)通信集团青海有限公司、中国联通青海公司、北京德道(dao)信科集团、中国能(neng)源建设股份有限公司总承包公司、桂林(lin)华崛(jue)大数据科技有限公司等，分别就三个万卡集群项目(mu)进行了战略签(qian)约，多方将聚力(li)共同构(gou)建好用的国产GPU集群。
摩尔线(xian)程CEO张建中 图源：观(guan)察者网(wang)
万卡集群已成入场券
大模(mo)型自问世以来，关于其未来的走向和发展趋(qu)势(shi)亟待时间验证，但从当前(qian)来看，几种演进趋(qu)势(shi)值得关注，使(shi)得其对算力(li)的核心需求(qiu)也(ye)愈发明晰。
首先，Scaling Law将持续奏效。Scaling Law自2020年提出以来，已揭示了大模(mo)型发展背(bei)后的“暴力(li)美(mei)学”，即通过算力(li)、算法、数据的深度融合与经(jing)验积累，实现模(mo)型性能(neng)的飞跃，这也(ye)成为业界公认的将持续影响未来大模(mo)型的发展趋(qu)势(shi)。Scaling Law将持续奏效，需要单(dan)点规模(mo)够大并且通用的算力(li)才能(neng)快速跟上技术演进。
其次，Transformer架构(gou)不能(neng)实现大一(yi)统，和其他架构(gou)会持续演进并共存，形成多元化(hua)的技术生态。生成式AI的进化(hua)并非仅依赖于规模(mo)的简单(dan)膨胀，技术架构(gou)的革新同样至关重要。
Transformer架构(gou)虽然是(shi)当前(qian)主流，但新兴架构(gou)如(ru)Mamba、RWKV和RetNet等不断刷新计算效率，加快创新速度。随着技术迭代与演进，Transformer架构(gou)并不能(neng)实现大一(yi)统，从稠密(mi)到稀疏模(mo)型，再到多模(mo)态模(mo)型的融合，技术的进步都展现了对更高性能(neng)计算资源的渴望。
与此同时，AI、3D和HPC跨(kua)技术与跨(kua)领域(yu)融合不断加速，推动(dong)着空间智能(neng)、物理(li)AI和AI 4Science、世界模(mo)型等领域(yu)的边(bian)界拓展，使(shi)得大模(mo)型的训练和应用环境更加复杂多元，市(shi)场对于能(neng)够支持AI+3D、AI+物理(li)仿(fang)真(zhen)、AI+科学计算等多元计算融合发展的通用加速计算平(ping)台的需求(qiu)日益迫切。
多元趋(qu)势(shi)下，AI模(mo)型训练的主战场，万卡已是(shi)标配。随着计算量不断攀升，大模(mo)型训练亟需超(chao)级工厂，即一(yi)个“大且通用”的加速计算平(ping)台，以缩短训练时间，实现模(mo)型能(neng)力(li)的快速迭代。当前(qian)，国际科技巨头都在通过积极部(bu)署千卡乃至超(chao)万卡规模(mo)的计算集群，以确保大模(mo)型产品的竞争力(li)。随着模(mo)型参数量从千亿迈向万亿，模(mo)型能(neng)力(li)更加泛化(hua)，大模(mo)型对底层(ceng)算力(li)的诉求(qiu)进一(yi)步升级，万卡甚至超(chao)万卡集群成为这一(yi)轮大模(mo)型竞赛的入场券。
然而构(gou)建万卡集群并非一(yi)万张GPU卡的简单(dan)堆叠，而是(shi)一(yi)项高度复杂的系(xi)统工程。
摩尔线(xian)程CEO张建中对观(guan)察者网(wang)表(biao)示，算力(li)集群不光是(shi)一(yi)个计算GPU，怎么把它组织(zhi)成一(yi)个大的网(wang)络，相互之间的通讯效率还可以更高，去满足MFU（算力(li)利用率）达到60%的最优目(mu)标，这要靠网(wang)络通讯、计算存储一(yi)起(qi)来解决。“只有软(ruan)硬件结合，才能(neng)把整个集群算力(li)发挥到最高。否则用户买了一(yi)万卡，可能(neng)还没有2000卡的效率高，那规模(mo)上就没有效果了。”
摩尔线(xian)程GPU 图源：观(guan)察者网(wang)
能(neng)否打破英伟达一(yi)家独大？
据摩尔线(xian)程介绍，夸娥（KUAE）是(shi)该公司的智算中心全(quan)栈解决方案，以全(quan)功能(neng)GPU为底座，软(ruan)硬一(yi)体化(hua)、完整的系(xi)统级算力(li)解决方案，包括以夸娥计算集群为核心的基础设施、夸娥集群管理(li)平(ping)台（KUAE Platform）以及夸娥大模(mo)型服务平(ping)台（KUAE ModelStudio）等。
基于对AI算力(li)需求(qiu)的深刻洞察和前(qian)瞻性布局，摩尔线(xian)程夸娥智算集群可实现从千卡至万卡集群的无缝扩展，旨在满足大模(mo)型时代对于算力(li)“规模(mo)够大+计算通用+生态兼容”的核心需求(qiu)，整合了超(chao)大规模(mo)的GPU万卡集群、极致(zhi)的计算效率优化(hua)以及高度稳(wen)定的运行环境。
“我们现在万卡集群还没有搭建，已经(jing)在用的是(shi)千卡级集群。当用户要在我们的千卡上训练一(yi)个大模(mo)型时，如(ru)果是(shi)已经(jing)适(shi)配过的，基本上不需要做任(ren)何工作(zuo)。如(ru)果是(shi)第(di)一(yi)次适(shi)配，可能(neng)当天或者几个小时之内就可以在我们的平(ping)台上跑(pao)起(qi)来，但是(shi)性能(neng)调优是(shi)一(yi)个比(bi)较花时间的工作(zuo)，因为不同模(mo)型使(shi)用方法不一(yi)样，国外(wai)不同的芯(xin)片厂策(ce)略不一(yi)样。”张建中说道(dao)。
“我们的产品跟国内外(wai)主流生态在兼容性方面做的很好，开发者移植到夸娥集群上，几乎不需要修改代码，迁移成本接近0，可以在数小时之内完成迁移。当然用户可能(neng)需要花数天时间去调优性能(neng)，但整体迁移成本很低，并不需要几周(zhou)时间。”摩尔线(xian)程CTO张钰勃补充(chong)称。
当前(qian)，国产GPU的主要策(ce)略就是(shi)先兼容英伟达CUDA生态，把用户迁移成本尽(jin)量降低，那在这种举措下，像摩尔线(xian)程、天数智芯(xin)等国产GPU，能(neng)否打破英伟达一(yi)家独大？
“这是(shi)一(yi)个很难回答的问题，首先在美(mei)国，那么多公司抢(qiang)不到英伟达的份额，说明英伟达还是(shi)很强的，用户是(shi)用脚投票的。但在国内不一(yi)定，因为某些原因受限，这样国产GPU就有机会。所以我相信中国市(shi)场格局和美(mei)国可能(neng)会完全(quan)不一(yi)样。”张建中对观(guan)察者网(wang)说道(dao)。
在发布会现场，摩尔线(xian)程携手中国移动(dong)通信集团青海有限公司等，分别就青海零碳产业园万卡集群项目(mu)、青海高原夸娥万卡集群项目(mu)、广西东盟万卡集群项目(mu)战略签(qian)约。发布会后，无问芯(xin)穹、清程极智、360、京东云、智平(ping)方等五家企业登台，分享了摩尔线(xian)程夸娥智算集群如(ru)何助力(li)其在大模(mo)型训练、大模(mo)型推理(li)、具身智能(neng)等不同场景和领域(yu)的创新。