大模型安全研究，道阻且长……
点击蓝字关注我们
人工智能以颠覆式的应用创新，全面推进新一轮的大国博弈和社会变革，但同时，也带来了一系列的安全和风险挑战，技术发展失控、道理伦理示范、网络安全失守……这种带有典型“双刃剑”特性的技术，客观上需要加强相应的安全研究，以有效的管控重大的风险和隐患。
那么相对于日新月异的大模型的发展，安全研究的状况到底如何？中国工程院吴世忠院士结合其研究领域，分享了九点初步的宏观观察和四点未来发展启示，我们一同学习一下：
1
观察一：
相对技术发展，安全研究严重滞后
吴院士利用全球引文数据库，对与生成式人工智能发展与安全相关的文献进行分析，结果显示，十多年来，相对于技术创新方面的发展，安全研究严重滞后，特别是Transformer面世以来的预训练大模型时期，这种滞后现象尤其突出。
2
观察二：
安全研究热络，但与发展差距仍大
最大的预印本论文发布平台上能够抓取到与大模型安全相关的论文有2500多篇，其中，近40%涉及大模型攻击，30%涉及大模型安全，约25%涉及大模型防御。同期与大模型安全相关的技术专利申请和授权数量也在逐步提升，但总体数量与大模型研究的蓬勃发展相比，差距仍然比较大。
3
观察三：
中国研究活跃，论文数量遥遥领先
中国的研究最为活跃，发表论文总量超过美国。按单位排名前五为：中国科学院、美国加州大学、斯坦福大学、中国清华大学、美国微软公司。
4
观察四：
影响力美国排一，大厂大学贡献大
从发表论文引用量来看，美国的科技影响力是第一，Meta、斯坦福、微软、Google等业界的大厂和大学，既是大模型发展研究的大本营，也是安全研究的主阵地。
相比而言我国的科技论文整体影响力偏弱，质量有待进一步提高。但吴院士认为清华大学、中科院、港科大、中科大等高校和院所的学术影响力已经跻身世界前列，有一定的发展潜力。
5
观察五：
头部企业共识渐成，纷纷强化安全
从国家上看，OpenAI、Meta、DeepMind等人工智能的巨头近年来相相继加大了在人工智能安全技术和监管措施方面的投入，国内的百度、科大讯飞、阿里、华为、360、智谱等也纷纷在安全研究上布局和投资。
6
观察六：
研究范围宽阔，热点重点众多
通过对两年来2500多篇学术论文的内容考察，可以分析生成式人工智能安全研究在技术方面的主要特点。
通过对近两年的相关论文，按照不同纬度进行统计分析，可以看出生成式人工智能安全研究的基本图谱。在短短两年内，国内外围绕大模型安全的研究领域已经迅速覆盖到人工智能发展与应用的方方面面。
7
观察七：
四大研究方向，全面涵盖AI发展
现在的研究为四类，理论研究、技术研究、伦理研究、应用研究。
理论研究集中探讨如何确保人工智能系统在各种条件下表现的可靠和安全，该领域的文献数量不多，但是近两年来增长很快，研究内容逐步深入，力图探求人工智能的安全机理。
技术研究在实际应用的问题上，围绕对抗、突出防御这方面问题最多，当前最热门的研究方向有三个，一是对抗样本，二是监测与防御三是证明与验证。
伦理研究主要研讨如何制定道德、规范和技术标准，以引导人工智能系统安全，合规和负责任的使用，以此支撑国家法规政策的制定，推动人工智能的全球治理。
应用研究主要在于确保风险可控的情况下，积极促进人工智能技术成果转化和应用推广。较为成熟的行业应用为三个方面：一是自动驾驶，二是医疗健康，三是金融安全。
8
观察八：
五大研究领域，深入使用环节
我们粗略的技术研究分为五个类别，安全风险、安全防护、安全攻击、安全测评和安全治理。简单的把它归结为叫检、防、攻、测、治。
检：验证技术机理，识别应用风险。
防：研究安全措施，防范误用和滥用。
攻：立足以攻促防，强化积极防御。
测：依据标准规范，评估保障能力。
治：平衡发展安全，落实治理要求。
9
观察九：
十大重点问题，成为当前研究热点
生成式人工智能安全研究涉及广泛复杂的问题，主要涉及以下十大问题：1、鲁棒性和可靠性；2、可解释性和可理解；3、公平性和偏见；4、对抗性攻击和防御；5、隐私保护；6、人机交互安全；7、伦理和治理；8、监督与控制；9、测试评估；10、关键基础设施中的应用。
01
启示一：安全认知，日渐清晰
大家敏锐的感知到人工智能的应用极大的改变了安全问题的内涵和外衍，现有的网络安全信息在内的非传统安全，今天已经成为传统安全，由人工智能颠覆性技术带来的未知的难以预测的新型安全问题成为新的现实。
02
启示二：安全研究，路阻且长
相对于大模型研究的内容深入和成果丰硕，安全研究是刚刚开始。不仅任重道远而且困难重重。至少从目前看，有4个方面的科学难题需要我们攻关和克服。一是大模型的解释性和透明性不足。二是安全保障技术的复杂性和多样性。三是伦理和道德问题的复杂性。四是安全测试和风险评估的复杂性，测评对象的复杂性。
03
启示三：安全行业，大有可为
人工智能赋能百业千行，自然会给安全行业注入强大的发展动能。国内外的安全行业都在积极的拥抱人工智能，应用人工智能。
可以预见，经历过IT驱动到DT驱动的安全行业将迅速迈进AI驱动的新时代，更及时的威胁感知，更深入的行为分析、更精确的漏洞管理、更便捷的情报共享、更迅速的应急响应、更智能的风险管控是未来的基本走向和市场刚需。
04
启示四：紧跟创新，保障发展
无论是安全研究还是安全产业，必须紧跟科技创新，才能服务好发展，保障好发展。就安全研究而言，展望未来有3个重要的方向值得我们关注。
一是研究的重点要更加紧扣人工智能进化中的新型的安全风险，二是研究的成果要能够更好的支撑社会应用或促进发展、治理政策的制定，三是研究路径要更多的采用多学科、跨学科的研究方法。最近我们看硅谷发的一些论文，多学科研究的歧视越来越明显。
—- END -—
往期推荐