点击右上角微信好友
朋友圈
请使用浏览器分享功能进行分享
2025年6月26日,以“网络根基 中国贡献”为主题的第四届下一代DNS发展论坛在京举行。本届论坛,由中国互联网协会、中国通信标准化协会指导,互联网域名系统国家地方联合工程研究中心(ZDNS)与互联网域名管理技术国家工程实验室联合主办。主论坛上,中关村实验室首席科学家云晓春就《大模型时代网络安全的风险与机遇》作主题报告。
人工智能引发网络安全新风险
主题报告中,云晓春深入探讨了大模型时代网络安全面临的冲击与机遇。他指出,以ChatGPT和DNS为代表的通用大模型开启了人工智能新时代,给网络安全从业者带来新风险的同时,也带来诸多机遇。
云晓春表示,大模型带来的安全风险主要分为自身安全问题和衍生安全问题两类。其中,大模型自身安全问题涵盖大模型训练安全、推理安全、应用安全和基础设施安全等四方面问题。在训练安全方面,存在数据内容被“投毒”、模型文件遭篡改、通过API访问窃取模型参数等风险。如医疗大模型易受“投毒”攻击;或篡改大模型权重文件,操控模型输出;再如攻击者通过API访问或对抗手段,就可以获取大模型的参数、能力或者行为,从而复现抄袭;另外,如知识蒸馏式的获取来复制模型的能力,模仿出输出行为,在特定任务上实现超越大模型性能。
推理安全方面,对抗攻击可扰乱输入导致错误输出,恶意提示语能诱导模型执行不当行为,如“奶奶漏洞”致使GPT泄露信息,通过设定大模型扮演用户的亲人,诱导大模型执行本该禁止的操作;
应用安全方面,模型生成之初无意中泄露的隐私信息,典型如ChatGPT返回自拍照,Open AI就存在泄露风险,存储的用户数据可以在未来训练中被别人利用;另如分区攻击导致大模型预训练数据被窃,返回运行成本包含个人隐私信息等敏感数据。
基础设施安全方面,则面临供应链安全威胁,恶意依赖包上传、工具被破坏等会造成数据窃取与模型劫持,如Hugging Face开源软件被投毒,导致了服务器被入侵,或者数据被篡改等问题。
大模型衍生的安全问题同样不容忽视。云晓春提到,在深度伪造滥用上,生成的虚假音视频可被用于社交攻击,与其相关的欺诈案件在2024年增长300%;还能制造虚假新闻操控舆论,如阿克苏库车地震时的不实图文等。此外,大模型还降低了恶意代码生成门槛,像今年初出现的法布赛克勒索软件就由大模型生成,攻击了85家企业并对其造成重大损失。
人工智能也为网络安全发展带来新机遇
相对风险,云晓春也强调,大模型为网络安全行业发展带来了新机遇。大模型引发了网络攻防的变革,可开展大模型网络安全垂域应用技术研究,以“智能”对抗“智能”;同时,大模型赋能网络安全,安全厂商加速布局,在提升安全运营的智能化水平和响应效率,与应用于网络流量分析、恶意代码识别、攻击检测等威胁检测方面,都有相当的效果。
云晓春提出,大模型可赋能漏洞挖掘场景。信创国产化替代背景下,智能网联车、物联网等场景,基础软硬件供应链等攻击面广且漏洞潜在危害大,传统漏洞挖掘方法依赖专家逆向,分析效率低,难以覆盖海量异构设备固件、协议等。基于大模型强大的代码分析和语义理解能力,自动化分析车载系统代码、通信协议及传感器数据流等多层次结构数据,识别常见和新型的漏洞。在不同场景下,提升漏洞挖掘的数量与效率,并自动生成PoC等。
赋能钓鱼检测场景。钓鱼攻击是境外APT攻击、网络诈骗、勒索等主要入口。随着大模型技术发展,钓鱼邮件生成更加真实、多样、迷惑,传统的基于规则或小模型仅能从单一角度检测,易被绕过。而面对海量电子邮件,基于大模型文本意图理解和自动化调度能力,对文本、邮件元数据、链接、附件等多模态数据综合分析,进行攻击意图识别和全链条行为关联分析,大大提升钓鱼检测的精度,实现“1+1>2”的钓鱼邮件检测效果。
赋能未知攻击发现场景。对APT等高对抗高隐蔽攻击检测场景下,未知攻击链条长、事件关联复杂、海量告警难以分析,模型需具备跨时序、跨维度推理和长期记忆能力,才能替代甚至超越人类专家完成未知攻击推理研判。基于大语言模型强大的上下文精准理解、多维知识检索关联和超长记忆推理能力,从杂乱海量告警、流量中发现潜在线索和因果关系,推理还原未知高危攻击链,发现难以识别的隐蔽威胁。
云晓春认为,未来网络安全必然是AI与网络安全融合的趋势,预计在不久的将来,大模型和新一代AI技术将重构网络安全技术与产业,推动其蓬勃发展。(记者 雷渺鑫)