快(kuai)科技7月10日消息,近日,壁仞(ren)科技副总(zong)裁兼AI软件(jian)首席(xi)架构师丁云帆在谈及(ji)计算瓶颈时表示,解决算力瓶颈问题需要从三(san)个(ge)维度考虑:硬件(jian)集(ji)群算力、软件(jian)有效算力、异构聚合算力。
他认(ren)为,做好这三(san)个(ge)维度的工作,即使国产AI芯片单个(ge)算力不强,也能通(tong)过综合手段提升算力,满足国内大模(mo)型训练(lian)的需求。
“我们2020年(nian)设(she)计的第一代(dai)产品里(li)就做了chiplet架构,国外巨(ju)头在今年(nian)发布(bu)的产品如英伟达(da)B100和英特尔Gaudi 3也采用了同样的思(si)路,他们用最先进的制程,但也需要chiplet来突破(po)摩(mo)尔定律限(xian)制来提升单卡算力。”丁云帆说道。
据他介绍(shao),壁仞(ren)科技用三(san)级的异步checkpoint技术,结合GPU的显存和CPU内存,甚至是多(duo)节点(dian)内存的备份系统去达(da)到一个(ge)平衡,目前已能够大幅降低(di)故障恢复成本。
之前,壁仞(ren)科技发布(bu)首款通(tong)用GPU芯片BR100,创下全球算力纪录,16位浮点(dian)算力达(da)到1000T以上、8位定点(dian)算力达(da)到2000T以上,单芯片峰值算力达(da)到PFLOPS级别。
当时,壁仞(ren)科技给出的数据显示,其首款旗舰产品BR100对比英伟达(da)在售的旗舰GPU峰值算力在Int8、BF16、TF32/TF32+、FP32数据格式(shi)下最少有3.3倍的峰值性能优势,在FP32数据格式(shi)下性能优势更(geng)是达(da)到了13.1倍。
【本文结束】如需转载请务必注明出处:快(kuai)科技