7月5日，在2024世界人工智能大会“可信大模型助力产业创新发(fa)展(zhan)”论坛上(shang)，蚂蚁集团公布了其(qi)自研的百(bai)灵大模型最新研发(fa)进展(zhan)：百(bai)灵大模型可以直接理解并训(xun)练音频、视频、图、文等多模态数据(ju)，原(yuan)生(sheng)多模态被认(ren)为是通往AGI的必经之路，在国(guo)内，目(mu)前只(zhi)有为数不多的大模型厂商实现了这一能力。
百(bai)灵大模型的多模态能力，也已被应用(yong)在生(sheng)活服务、搜索推荐、互动(dong)娱乐等场景。在生(sheng)活服务上(shang)，蚂蚁集团使(shi)用(yong)多模态模型实现了ACT技术(shu)，让智能体具(ju)备一定(ding)规划执行能力。比如根据(ju)用(yong)户语音指定(ding)直接在星(xing)巴克(ke)小程序下单一杯咖啡，目(mu)前这一功能已在支付宝(bao)智能助理上(shang)线。在医疗领域，多模态能力为用(yong)户实现复杂任务的操作(zuo)，可以对超过100多种复杂的医学检验检测报(bao)告(gao)进行识别和解读，还可以检测毛发(fa)健康和脱发(fa)情况，对治(zhi)疗提供辅助。
发(fa)布现场，蚂蚁集团副总裁徐鹏还展(zhan)示了更多应用(yong)场景：通过视频对话(hua)的自然形式，AI助理能为用(yong)户识别穿着打扮(ban)，给出约会的搭配建议；根据(ju)用(yong)户不同的意图，从一堆食材(cai)中搭配出不同的菜谱(pu)组合；根据(ju)用(yong)户描(miao)述的身体症状，从一批药(yao)物中，挑选出可能合适的药(yao)，并读出服用(yong)指导，供用(yong)户参考等。
基(ji)于百(bai)灵大模型多模态能力，蚂蚁集团已在探索规模应用(yong)落地产业的实践。论坛上(shang)同时发(fa)布的“支付宝(bao)多模态医疗大模型”，据(ju)了解，支付宝(bao)多模态医疗大模型添加了包含报(bao)告(gao)、影像、药(yao)品等多模态信息在内的百(bai)亿级中英(ying)文图文、千亿级医疗文本(ben)语料、以及(ji)千万级高质(zhi)量医疗知识图谱(pu)，具(ju)备专(zhuan)业医学知识，在中文医疗 LLM 评测榜单 promptCBLUE 上(shang)，取得 A 榜第一，B 榜第二的成绩。
基(ji)于百(bai)灵大模型多模态能力，由蚂蚁集团与武(wu)汉大学联(lian)合研发(fa)的遥感模型SkySense，也在论坛上(shang)公布了开源计(ji)划。SkySense是目(mu)前参数规模最大、覆盖任务最全、识别精度最高的多模态遥感基(ji)础模型。
多模态大模型技术(shu)能够使(shi)AI更好地理解人类世界的复杂信息，也让AI落地应用(yong)时更符合人类的交(jiao)互习惯，在智能客服、自动(dong)驾驶、医疗诊断等多个领域展(zhan)现出巨大的应用(yong)潜力。“从单一的文本(ben)语义理解，到多模态能力，是人工智能技术(shu)的关(guan)键迭代，而多模态技术(shu)催生(sheng)的‘看(kan)听说写画’的应用(yong)场景，将让AI的表现更真实，更接近(jin)人类，从而也能更好地服务人类。蚂蚁会持续投(tou)入原(yuan)生(sheng)多摸态技术(shu)的研发(fa)。”徐鹏说。
文/北京青年报(bao)记者 温婧
编辑/田野