中文 英语

机器学习中的安全漏洞和ai

机器学习的一个主要目标是用机器来训练其他机器。但如果训练数据中有恶意软件或其他缺陷怎么办?

人气

机器学习和AI开发人员开始研究培训数据的完整性,在某些情况下将用于占据数百万甚至数十亿个设备。但这是将成为一个庞大的努力的开始,因为今天没有人完全肯定如何损坏训练数据,或者如果它被损坏,该怎么办。

机器学习深度学习人工智能是提高系统可靠性和功能,加速上市时间的强大工具。但过去几个月采访的十几位专家表示,人工智能算法也可能包含漏洞、微妙的偏见,甚至是可以多年不被发现的恶意软件。在某些情况下,原因可能是编程中的错误,这在开发和推出新工具或技术时并不少见。机器学习和人工智能算法仍在进行微调和修补。但与此同时,越来越多的人担心它会成为恶意软件的切入点,成为日后被破解的后门。

即使发现了漏洞或恶意软件,也几乎不可能找到问题的根源,并修复所有使用该数据训练过的设备。到那时,市场上可能会有数百万台这样的设备。如果开发了补丁,并不是所有的设备都能一直在线,甚至可以访问。这是最好的情况。最糟糕的情况是,这段代码在被某些外部犯罪者激活之前是不会被发现的,无论他们是将其放置在那里还是偶然发现它。

“因为它是不透明的,你发明了从安全定义中非常有趣的各种新的攻击模式,”Rob Aitken说,手臂的家伙。“你可以从安全数据传输的角度来考虑,这是一种安全级别。但你也可以从任务的角度来考虑。例如,如果你开发了一款机器学习安全摄像头,你在工厂训练它寻找特定的帽子、衬衫和鞋子,那么其他人就不会注册为个人。所以现在任何人都可以走到你的前门然后破门而入。你创造了一个在你有机器学习相机之前不存在的新问题。这是你用数据本身建立的后门。我们可以有不那么做作的后门例子,但事实是,你的司法管辖区允许后门,而那些不允许的,意味着你必须始终定义什么是安全。”

安全风险到处都是,连接的设备增加了远程位置攻击的能力。但是AI,及其机器学习和深度学习子集,增加了威胁地图上的新攻击点,因为机器用于训练其他机器,并且没有人完全确定这些机器最终将如何使用该数据。这为某人深入了解培训算法如何在网络安全和讯连月架上使用了很大的优势。

“在我们的网络安全团队中,我们花了很多时间担心人工智能与人工智能之间的对抗,”该公司副总裁兼实验室主任杰夫·韦尔泽(Jeff Welser)表示IBM阿尔马登研究。“让侵入者自己编写程序,通过人工智能了解模式中发生的事情,从而更好地侵入,这绝对是我们目前正在研究的领域。”从某种意义上说,这将是人工智能与人工智能的较量。为了对抗这些,你可能还需要有一个系统,它可以在整个网络中寻找活动,并了解对这个网络来说什么活动是正常的,什么活动是不正常的。所以他们更有可能发现,‘嘿,这里以一种微妙的方式发生了一些奇怪的事情。它不像你以前看到的那种对随机端口的明显呼叫。这是正在发生的其他事情。”

这不一定是瞬间的原因和效果。有时,影响可能需要数年才能出现,就像在汽车或飞机导航系统中一样,后门成为勒索瓶的工具。

Welser说:“我们一直在网络安全领域使用人工智能,帮助监控网络上的流量模式,看看是否有什么异常。”“最初它是用于那些你可能有人在里面放了一些代码的东西。但它可以很狡猾,因为它不必每小时都进行交流,这样我们就可以很容易地看到一个模式。它可能是随机的。所以你必须能够观察和发现更微妙的模式,这正是AI擅长做的。但下一阶段的代码实际上是AI代码。所以它也在学习,正在发生的事情。因此要追踪它就更难了。它可能5年或10年都不会出现,这取决于相关人员的耐心。这将是网络安全的下一个战场。 “

这一点有一些协议,至少现在。机器学习,深度学习和AI只是在许多市场和应用程序中推出。虽然大多数人了解这些方法如何解决问题和提高制造和芯片设计和验证等领域的质量控制,但对所有这些工作的理解远远不那么了解,特别是在系统开始学习某些行为之后。

微软首席技术官马丁•斯科特(Martin Scott)表示:“短期内更为普遍的攻击是,利用由外而内的机器学习,加快调试或利用的时间。Rambus。“很多人都在这样做。但是你也可以为恶意意图做到这一点。我们开始将其视为识别异常行为的快速方法。也许有一个特定的攻击,哪里有签名,而且它不仅仅是一种以某种方式行为的设备。如果您注意到在时间以相同的方式以异常方式行动的时间相关的设备。这是一个迹象表明,也许你失去了控制,并且有一些协调的攻击,这是一个大的东西。所以有很多东西是ML的前身,你说,'看起来不对劲。'它可以触发撤消连接或发送警报的响应。我在机器学习中看到了比嵌入的潜在代码更重要的活动。“

理解风险
在机器学习和AI系统中开始关闭安全漏洞存在一些明显的地方。人们涉及限制对算法的访问,类似于今天普通网络流量的完成。

“有几个方面你需要做好,”他说Raik Brinkmann.的首席执行官奥克森解决方案。“一个是身份验证,以确保设备发送回数据是您要与之交谈的设备。在硅中,你需要知道这个特定的芯片是你正在谈论的芯片。有一些针对这个问题的知识产权公司。你如何将身份证刻录到您部署的内容中?只有在客户在客户激活时,您可以获得该ID,而不是在工厂。您可以将数据源与此芯片相关联。然后,有像区块链一样的技术,以确保从该设备流出的数据不断经过身份验证和您所期望的数据。篡改阻力在数据流上很重要。您需要控制数据流和保证完整性,或者您将具有大的安全问题。“

不过,与传统的电子系统不同,AI/ML/DL系统从本质上来说更具弹性。AI/ML/DL系统生成的结果落入一个分布中,而不是传统的处理,系统如果不能产生准确的答案就会停止或崩溃。如果有些东西不太合适,这就提供了一些缓冲,这在适应现实世界的变化时很有用,比如识别路上的一个物体。但这也让我们更难准确地找出问题所在。

神经网络算法与其他数据和软件并没有什么不同。克里斯再生草的首席执行官Babblelabs.。“核实和保护的所有相同问题适用。但是有一件事是不同的是,如果你拍摄了平均软件的身体,并且你翻转一个随机的比特,那么它会导致事情崩溃。另一方面,如果您采取神经网络,其中大多数位是网络中的参数,如果您翻转有点,它会愉快地继续执行。它可能具有略有不同的功能或完全不同的功能,但没有内部一致性。“

这就是真正问题可以开始的地方。了解连接系统中的安全性足够糟糕。

“任何时候你添加4G或者5克公司业务和企业发展副总裁Patrick Soheili说eSilicon。“无论是AI还是不是AI,你为黑客创造了机会进来操纵一些东西。如果在半导体器件周围构建足够的身份验证,则需要它,无论您需要完成什么,那么您都有一个安全问题。“

但是当连接系统涉及AI / ML / DL时,它会变得更加复杂。

“你需要定义威胁模型是什么,然后理想情况下,您需要某种用于安全性的度量标准,”Arm的Aitken说。“Those metrics are really hard to come by because if you go to your boss and say, ‘I need to put extra security into this chip and it’s going to cost three months of schedule,’ and your boss says, ‘What do I actually get for that?’ The answer is, ‘Well, it will be more secure.’ But how much more secure and in what way? Having these metrics for security is really key. Then there is the blockchain piece. The level of authentication and providence that you need for different data changes. It’s similar to when I go to the store and buy a pen, I assume that the store got the pen legitimately and doesn’t care what I do with it after I buy it. But if I buy a car, you need to know everyone who owned that car and the history of that car, and when I sell it the state wants to know who I sold it to. They track it at a much more detailed level than a pen. The same value chain holds for data.”

有什么不同吗?
安全问题在世界各地不断上升。除了应用软件和网络访问中固有的长期威胁外,Meltdown和Spectre的引入还发现了x86体系结构中的缺陷,而这些缺陷在该体系结构开发时甚至没有被注意到。汽车可以被黑客入侵和联网的想法在十年前看起来几乎是荒谬的。

但整个系统正在连接到其他系统,并且在全球范围内开展了从麻烦制剂到复杂有组织的网络犯罪组织和国家各州的每个人的访问。

“我们已经做出的转变是,从规模化的复杂性到系统性的复杂性摩尔定律这是典型的多晶体管芯片之一。AART de Geus.公司董事长兼联席首席执行官synopsys.。“现在有许多芯片、许多系统、许多软件环境都在相互作用,所以我们已经深入到系统复杂性中。事实上,系统复杂性本身特别适合AI方法——因为它不是对很多事情的逻辑正确/错误答案,更像是“看到模式”——从安全的角度来看也是一个挑战。这些都是进步的步骤,也带来了挑战。”

Mirai分布式拒绝服务(DDOS)攻击2016年10月,一瞥攻击表面可以的普遍普遍。使用僵尸网络,三位大学生设法围绕全球感染了数十万个设备,并用它们过载互联网的骨干。

令人担忧的是,类似的事情也可能发生在AI/ML/DL上,因为随着机器被用来训练其他机器,机器本身实际上会传播问题。只是这次不是典型的病毒驱动这些系统的是算法的内部工作原理,这使得问题更难识别。安全专家不是寻找单一的安全缺陷,而是在最好的情况下寻找不寻常的模式,在最坏的情况下寻找公认的行为模式。

解决问题
现在说什么是解决这些问题的最佳方法还为时过早。AI/ML/DL仍处于起步阶段,尽管自上世纪50年代以来人们就开始以这样或那样的形式研究AI/ML/DL。但直到这十年,AI/ML/DL市场才真正开始发展,这是由以下几个因素共同作用的结果:

•有足够的处理能力和内存来处理AI / ML / DL算法,包括训练的数据中心和边缘以供介绍。
•此技术存在真正的应用程序,因此有钱倾注于开发更好的算法和更高效的硬件架构。
•技术已经使算法可以在计算机上开发,而不是手工,允许公司从现成的算法开始,而不是试图开发自己的算法。

所有这些都使AI/ML/DL得以在IBM和Digital Equipment Corp.等大型计算机公司于上世纪90年代早期中断的研究领域继续发展。此后,IBM继续努力,亚马逊(Amazon)、微软(Microsoft)、谷歌、阿里巴巴(Alibaba)、Facebook以及数十家较小的公司也加入了这一行列。此外,世界各国政府也投入了数十亿美元进行研究。


图1:投资在AI中,数十亿美元。资料来源:麦肯锡&Co。报告人工智能:下一个数字边疆?

据布鲁金斯学会最新报道报告,AI投资在广泛的市场上越来越大,包括国家安全,金融,医疗保健,刑事司法,交通和智能城市。根据普华永道,奖品的奖项为2030年对全球经济的潜在贡献为15.7万亿美元。


图2:哪个区域从AI获得最大。来源:普华永道

随着那种收益,AI / ML / DL在这里留下来。这为工具供应商打开了门,例如eda.公司将自动进行一些安全检查,特别是在验证方面,所有供应商都表示他们目前正在进行这方面的工作。

他说:“如果我验证了这个产品并销售了它,而它改变了人们的行为,它就不再被验证了。沃利莱茵河,总统兼首席执行官门托,西门子的一家企业。“我们该怎么办?”汽车制造商是做什么的?这些问题正在得到解决。我们介绍了一个产品,可以让你设计到集成电路的能力,动态测试任何JTAG-compatible子系统,所以当你的芯片不做任何事,这是对自我的一组标准系统制造商建立了,这样就可以有一个动态的一生自测。随着越来越多的神经网络和将机器学习应用于芯片、电路板和系统,你将看到同样的事情随着时间的推移而发展。然后你就会有更多的方法来验证他们是否将自己改造成一个危险或无功能的空间。”

换句话说,修复这个问题对可以自动化它的公司具有巨大的上行程序,而EDA行业不仅知道内部使用AI / ML / DL的机会,而且还用于开发可以收紧发展的工具和算法的安全性。但直到那时,目前尚不清楚现有算法是如何解决的或完全如何修复它们的安全。至少在可预见的未来,可能 - 或者可能不是一个大问题。

有关的故事
机器学习的限制
专家桌上,第1部分:为什么机器学习在某些情况下工作,而不是其他情况。
IBM在不同的方向上占用AI
人工智能和深度学习有什么好处,有什么坏处,以及为什么准确性有时会对这些系统起作用。
机器学习的限制
表格中的专家,第2部分:当错误发生时,如何、何时以及由谁来识别它们?
应用机器学习到筹码
目标是提高质量,同时减少收入的时间,但并不总是如此清晰。
深入学习蔓延
更好的工具,更加计算的功率和更高效的算法正在将此技术推入主流。
机器学习的越来越大
在机器学习领域,行业是否正朝着另一个硬件/软件领域发展?双方都有不同的目标。
EDA挑战机器学习
除了缺乏训练数据之外,EDA中的许多任务都可以成为机器学习的完美目标。有什么可以改变的呢?



发表评论


(注意:此名称将被公开显示)