点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:联邦学习安全性测评的思路分析
首页> 专题频道 > 正文

联邦学习安全性测评的思路分析

来源:数据安全共同体计划2022-11-15 15:45

  数字经济高速发展的大背景下,信息技术与经济社会的交汇融合引发了数据量迅猛增长,数据已成为国家基础性战略资源,数据安全也由此上升到影响经济和社会稳定运行,乃至国家安全的高度。同时,国家政策要求数据作为生产要素参与收益分配。联邦学习可在多个数据拥有方不输出原始数据的情况下完成机器学习联合建模和联合预测,实现数据增值,在数据要素分配市场的应用日益广泛。

  1.联邦学习发展现状

  联邦学习是一种能够在保护隐私的情况下实现多方数据建模的分布式机器学习技术。近年来,联邦学习技术在鼓励数据要素市场化的政策的作用下得到了快速发展,并在数据流通领域得到了较多实践。

  当前,国内联邦学习技术应用以toB模式为主,这种模式的特点是在数据共享的过程中,参与方数量较少,通常不超过两方,且参与方为机构、企业实体,参与方往往保有不同的数据特征,同时为达到联合释放数据价值的目的,参与方通常不会出现主动攻击的行为。为适配该需求,联邦学习技术应用关注纵向地拓展建模特征,并以保障无被动数据泄露(处于半诚实安全模型环境,不存在恶意参与方)为安全性目标进行设计开发。

  而在toC模式下,联邦学习技术应用更多的是以大规模参与方参与、横向样本拓展、各方数据不平衡为特征。在安全性方面,该场景下存在会主动发起攻击的恶意参与方,对安全性保障要求较高。因此,toC场景下的联合建模对技术要求较为严苛,当下仅存在极少数的不成熟案例。

  2.测评需求分析

  联邦学习在有效破解“数据孤岛”问题的同时,仍然面临着数据安全方面的风险,具体体现在:

  (1)隐私泄漏。在联邦学习过程中,参与方与参与方之间、参与方与协调方之间存在着各类隐私数据或可逆推出隐私的数据的流通,若这些数据未经过适当安全措施的处理,可能会暴露出用户的隐私。

  (2)算法设计。联邦学习中的安全问题往往出现在算法设计上,隐藏得十分隐蔽,使用者极难发现。

  (3)通用数据安全风险。包括了联邦学习过程中数据采集安全风险、数据传输安全风险、数据存储安全风险、数据使用安全风险等。

  联邦学习产品设计的初衷是保护数据流通中的隐私安全,而联邦学习厂商难以自证其产品是“安全”的;同时,任何产品均不能做到“无限制”的绝对安全,在技术应用中要寻求运算效率和安全保障的平衡。企业在产品设计开发过程需要一个可以参考的标准,同时,帮助企业解决这些问题也成为了开展测评工作的需求来源。

  3.测评依据与分析

  中国信通院安全研究所牵头编制了行业标准《电信网和互联网联邦学习技术要求与测试方法》,并以此为基础开展了联邦学习安全性测评工作,该标准针对联邦学习技术产品提出了技术要求及相应的测试方法,总体来说做了以下三方面的技术要求。

  一是,标准充分考虑了国内数据流通的需求,以toB需求为主线,抽象出联邦学习过程的六个阶段,包括数据管理、特征处理、联邦对齐、模型训练、模型预测、模型评估,进而针对不同阶段提出了具体安全要求。

  二是,标准中的主要要求条款是以保障无被动数据泄露为主要目的而进行制定的,即以不存在恶意参与方作为要求条款的主要前提条件。例如条款对联邦过程中各方所能获知的参数种类进行了要求,各方不可通过这些中间参数单方面推导出原始数据。

  三是,标准的安全性要求不仅考虑了技术上的安全,同时也兼顾了数据安全合规风险。例如,标准对联邦学习各阶段的结果归属提出了相应的要求,结果仅可被任务发起时约定的结果使用者所获取。如此,未得到各数据方授权而直接获取计算结果,便不符合标准要求。

  4.测评思路分析

  联邦学习安全性测评分成了两大部分,一部分为通用安全性测评,另一部分为联邦学习流程安全性测评。

  在通用安全性方面,测评主要关注的是产品的“外在”安全,包括了认证授权、健壮性、通信安全、展示安全、存证日志、密码安全。“外在”的安全要求可以保证联邦学习产品拥有一个安全的外壳和操作环境。

  在联邦学习流程安全性方面,测评主要关注联邦学习产品中各算法的安全性,即“内在”安全。依据联邦学习的流程,测评划分出了数据管理、数据对齐、特征处理、模型训练、模型预测、模型评估六大部分,并对各部分的算法是否存在安全漏洞进行判断。例如,测评要求“应确保第三方未经授权不可获得或推导出:模型参数明文、敏感数据”,若在toB场景下使用未加保护的原始fedavg算法,则会将模型参数汇聚于第三方,使第三方获知了模型参数的明文,若第三方未得到授权,则该方案不符合安全要求。再如,某些算法方案利用第三方产生公私钥,并进行分发,若第三方未得到授权,如此便同样违背了上述第三方不能获知敏感数据的要求。

  5.总结与未来展望

  现阶段的联邦学习测评依据标准而开展,关注的是toB场景下的有限安全性。未来随着联邦学习应用的发展,toC场景会逐渐有成熟的方案落地,安全性测评也会随之关注联邦学习中的主动攻击。在测试效率方面,当下已有联邦学习产品配备了自动生成佐证材料的功能以配合安全性证明的案例,这种方式虽然提高了测评效率但缺乏通用性,安全性测评依然严重依赖大量人工,测评自动化是未来安全性测评技术发展的方向。

  供稿 | 中国信息通信研究院安全研究所 戚琳 刘明辉

[ 责编:孔繁鑫 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 第七届进博会丨进博会上的“非洲之旅”

  • 开足马力 全力备战“双十一”

独家策划

推荐阅读
南泥湾是中国军垦、农垦事业的发祥地,是“自力更生、艰苦奋斗”创业精神的发源地。
2024-10-27 17:37
延安地区拥有丰富的煤炭资源,在采矿井约40家,年开采量约5000万吨,但煤质坚硬、自动化程度低等难题严重制约着煤炭产业的发展。
2024-10-27 17:18
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,洛川青怡庄园生物科技有限公司副总裁肖小杰介绍,他们企业的苹果按个卖,一个可以卖到10元。
2024-10-25 18:49
堆积起来的生菌木材冒着热气儿,菌种生产厂房里机器轰鸣,滑子菇大棚里农民忙着收“金疙瘩”。
2024-10-25 18:43
你以为的农村是雨天泥泞,还是道路整洁?爬高上低,还是风景无限?高家原则将山体沟道治理作为城市有机更新和创建文明典范城市抓手,让山体沟道,环境大改善。
2024-10-24 18:11
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,延安大学经济与管理学院副教授、数字经济专业负责人王珊珊介绍,从卖苹果到卖服务,这是数字技术非常好的一个创新,和产业结合的非常有深度。通过消费者与大自然以及果树的亲密视觉接触,可以提升他们的体验感,增加对苹果这种产品的客户粘性和客户忠诚度。
2024-10-24 18:08
当陕北说书遇到延安美食,碰撞出延安独特的人文魅力。
2024-10-24 18:06
激昂的旋律回荡在空气中,豪迈的歌声飞扬于天地间。壮丽的情怀澎湃在心田里,不朽的精神传承于岁月中……
2024-10-24 17:59
小孩哥小孩姐把安塞腰鼓课间操跳得超燃!
2024-10-24 17:59
青山环绕、绿水蜿蜒,这是吴起南沟村给记者们留下的第一印象。谁能想到,这个位于陕西省延安市吴起县的小村庄,曾经风沙肆虐、植被稀疏。经过二十多年艰辛努力,光秃秃的黄土高坡绿意盎然。
2024-10-24 17:50
在宝塔区河庄坪镇政府的扶持下,延安菌舰生物科技有限公司采用“企业+合作社+农民”模式,带动400余人家门口就业,人均增收2000元。食用菌产业的蓬勃发展,不仅为农民带来稳定收入,更为乡村振兴注入活力。点赞延安菌舰,为农民增收,为乡村添彩!
2024-10-24 17:48
10月23日,“弘扬延安精神 奋进伟大时代”网上主题宣传媒体团来到了延安新材料产业园,亲身体验石墨烯发热背心,感受科技的温暖拥抱。
2024-10-24 11:18
近期,延安市薛张小流域水土保持项目碳汇交易成功!这不仅是一次生态保护与经济发展的双赢,更为延安乡村振兴注入了新的活力!
2024-10-24 11:16
10月22日,“弘扬延安精神 奋进伟大时代”网上主题宣传媒体团来到了位于延安市安塞区南沟村的苹果基地,在这里记者们亲身体验苹果采摘,倾听果农的心声。同时,记者团还开展了一场特别的直播带货活动,助力果农销售苹果。此次活动不仅展现了果农的辛勤付出,也让更多人了解到延安苹果的魅力,为乡村振兴贡献了一份力量。
2024-10-24 11:07
10月23日,“弘扬延安精神 奋进伟大时代”网上主题宣传“逐梦之路”媒体采访团走进延安宜川县,追寻“悬崖造林队”的故事。
2024-10-24 10:27
陕北说书最近火爆出圈,董宇辉在直播中表示向往陕北文化,想成为一个陕北说书人。这一段陕北说书,带你行走在延安的绿水青山间。
2024-10-24 10:21
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,延安数据(集团)有限责任公司董事长高延宏介绍,延安的地域特点适宜建立算力中心,要把平台搭建好,把更多的企业引到延安,建立归属在延安的算力中心,更好的服务延安、服务陕西。
2024-10-24 10:18
“圣地蓝”成延安靓丽新名片!近年来,延安出台多项措施积极推进环境治理,有效减少空气污染源,空气质量优良天数逐年增加,2023年达到323天,让蓝天白云常驻延安上空。
2024-10-24 10:07
如今,延安子午岭林区有目前已知的国内最大野生华北豹种群。随着延安生态环境的持续改善,其种群栖息地向北扩散近五十公里!
2024-10-24 10:05
10月22日,在南泥湾,“弘扬延安精神 奋进伟大时代”网上主题宣传媒体团采访南泥湾,齐声合唱经典曲目《南泥湾》,在歌声中,我们仿佛看到了昔日的开荒景象,感受到了那份自力更生的坚韧精神。一曲《南泥湾》,唱出了对美好生活的向往。
2024-10-23 17:03
加载更多