7月5日下午，清(qing)华大学(xue)、中关村实验室、蚂蚁集团等机构联合撰写的(de)《大模型安全实践（2024）》白皮(pi)书在2024世界人工智能大会上正式(shi)发布。这也是国(guo)内首份“大模型安全实践”研(yan)究报告，为(wei)行业打造高价值参考体系。白皮(pi)书首次系统化提出(chu)安全实践总(zong)体框架，从安全性、可靠性、可控性等维度给到了技(ji)术实施方案(an)，同时(shi)提供了金融、医疗、政(zheng)务(wu)等领域的(de)大模型安全应用(yong)案(an)例，以及(ji)“五维一(yi)体”协同共治的(de)治理(li)框架。
作为(wei)报告核心，大模型安全技(ji)术体系里，安全性意味着确(que)保(bao)模型在所有阶(jie)段都受到保(bao)护，涉及(ji)数(shu)据安全、模型安全、系统安全、内容安全、认知安全和伦理(li)安全等；可靠性要求大模型在各种情境下都能持续提供准确(que)、一(yi)致、真实的(de)结(jie)果(guo)；可控性关乎(hu)模型在提供结(jie)果(guo)和决策(ce)时(shi)能否让人类了解和介入(ru)，可根据人类需要进行调适和操作。通过这三个(ge)维度，可提升大模型的(de)鲁(lu)棒性、可解释性、公(gong)平性、真实性、价值对齐(qi)、隐私保(bao)护等方向的(de)能力。
白皮(pi)书指出(chu)安全评测技(ji)术和安全防御技(ji)术也是保(bao)障大模型安全的(de)有效手段，但目前大模型的(de)安全评测绝(jue)大多数(shu)是针对内容类场(chang)景，随着大模型技(ji)术快速发展和广泛(fan)应用(yong)，对Agent这类复杂大模型应用(yong)架构和未来(lai)通用(yong)AGI的(de)评估是当下面临的(de)挑战。制定标准建立面向未来(lai)的(de)大模型可信测评体系将会变得越(yue)来(lai)越(yue)重要，这需要政(zheng)府、高校等机构，联合有相关经(jing)验的(de)企业共同合作。
白皮(pi)书以蚂蚁集团自研(yan)的(de)大模型安全一(yi)体化解决方案(an)“蚁天(tian)鉴”为(wei)例，介绍了国(guo)内机构和企业在探索大模型安全应用(yong)的(de)优秀实践。
蚁天(tian)鉴是一(yi)款兼(jian)具大模型安全测评和防御的(de)产品，目前已开放给20余家外部机构和企业，在金融、政(zheng)务(wu)、医疗等重要领域得到采用(yong)，为(wei)行业大模型数(shu)据、训练(lian)、部署、应用(yong)等环(huan)节提供安全保(bao)障。
例如，在金融场(chang)景，蚂蚁AI金融助理(li)“支小(xiao)宝”，通过“蚁天(tian)鉴”从大模型训练(lian)与推理(li)风险(xian)管控、大模型风险(xian)点全方位评测、大模型用(yong)户交互风险(xian)管控三个(ge)方面保(bao)障大模型应用(yong)安全；针对金融业务(wu)，通过内嵌一(yi)致性检验和金融价值对齐(qi)，确(que)保(bao)数(shu)据的(de)准确(que)性和金融逻辑的(de)严格性。在医疗场(chang)景，上海市(shi)第一(yi)人民医院(yuan)通过引入(ru)“蚁天(tian)鉴”平台，在其首创安全前置护栏技(ji)术保(bao)障下，可精准杜绝(jue)医院(yuan)最关注的(de)风险(xian)的(de)出(chu)现(xian)，保(bao)障医疗大模型生成的(de)内容更符合医疗垂类的(de)安全和专业，有效应对大模型应用(yong)中的(de)信息安全与隐私保(bao)护、双向内容风险(xian)防控等问题。在政(zheng)务(wu)领域，“赣服通”政(zheng)务(wu)AI助理(li)在端侧实施的(de)安全措施具有借鉴意义，其结(jie)合“蚁天(tian)鉴”通过千万政(zheng)务(wu)预料训练(lian)来(lai)实现(xian)精准意图识别、智能追问反(fan)问和高频(pin)事项即问即办(ban)等功能；针对政(zheng)务(wu)行业大模型应用(yong)中生成不可控、安全覆盖面广、内容对抗强、时(shi)效要求高等挑战，构建安全护栏和安全防御两大核心能力，覆盖数(shu)百项大模型内容生成风险(xian)，可应对单次50万量(liang)级(ji)的(de)饱和攻击。
清(qing)华大学(xue)长聘(pin)副(fu)教授、博士(shi)生导师李琦指出(chu)，大模型安全应用(yong)是一(yi)个(ge)新兴(xing)领域，研(yan)究和应用(yong)尚处于(yu)起(qi)步阶(jie)段。不少企业是在原有的(de)传统数(shu)据安全、信息安全、系统安全等经(jing)验基础上，进行能力迁移，应用(yong)于(yu)大模型安全。随着新的(de)大模型安全实践的(de)不断深入(ru)，技(ji)术也会持续升级(ji)，为(wei)大模型安全构建实践范(fan)式(shi)，打造高价值参考体系。
文/北京青年报记者 温婧
编辑/樊宏伟