HiddenLayer成立新团队提升AI系统安全防护意识

关键要点

• HiddenLayer成立了一支名为Synaptic Adversarial Intelligence (SAI) 的新团队，专注于提高对机器学习（ML）和人工智能（AI）系统面临的威胁的意识。
• SAI团队旨在教育数据科学家、MLDevOps团队和网络安全专家，帮助他们评估与ML/AI关联的漏洞和风险，以实现更安全的系统实施和部署。
• 安全研究人员的关注点正在从算法的数学强化转向ML算法的模型开发、维护、打包和部署的整体软件生态系统。

HiddenLayer于本周二成立了新团队Synaptic Adversarial Intelligence
(SAI)，以提高大家对机器学习（ML）和 (AI) 系统所面临威胁的认识。

SAI团队的目标是教育数据科学家、MLDevOps团队及网络安全专业人士，帮助他们评估与ML/AI相关的漏洞及风险，从而能够进行更加安全的系统实施和部署。

HiddenLayer的对抗机器学习研究高级主任TomBonner指出，直到最近，大多数关于对抗性ML/AI的研究主要集中在数学层面——即增强算法对恶意输入的处理能力。而现在，安全研究人员正在探索ML算法以及如何开发、维护、打包和部署模型，寻找更广泛软件生态系统中的弱点和脆弱性。

“除了提高对ML安全性的认识之外，我们还将积极协助开发对策，以监控已部署模型并提供防御者应对攻击的机制，”Bonner表示。“许多机构如和NIST正在为更好地理解和量化与ML/AI相关的风险而做出巨大努力。我们期待与这些行业领袖合作，拓宽知识池，定义威胁模型，推动政策和法规的制定，最重要的是，预防攻击。”

Vulcan Cyber的高级技术工程师MikeParkin补充道，AI以多种形式已在如娱乐和安全等各个领域变得无处不在。不幸的是，直到最近，Parkin表示，AI系统本身的安全性通常只是事后想到的事情。

“不过，针对AI的攻击类型种类繁多且常常被忽视，从操纵AI的结果到攻击主机系统，”Parkin表示。“这还不包括威胁行为者使用自己的机器学习算法来开发攻击。这个新发展很受欢迎，结合其他工具和稳健的风险管理方案，将有助于增强该领域的安全性。”

关键人物 | 职位 | 组织
—|—|—
Tom Bonner | 对抗机器学习研究高级主任 | HiddenLayer
Mike Parkin | 高级技术工程师 | Vulcan Cyber

在当今数字化时代，增强AI系统的安全性已成为极为重要的任务，各行业的参与者应共同努力，以面对所面临的各种安全挑战。