微软开放人工智能系统工具对抗源代码

最近微软开通了AI安全风险评估工具Counterfit，旨在帮助开发者测试AI和机器学习系统的安全性。据该公司称，Counterfit使组织能够进行评估，以确保其业务中使用的算法是可靠和可信的。

目前，人工智能技术越来越多地应用于医疗、金融和国防等监管行业。然而，组织在采用风险缓解策略方面落后了。微软的一项调查发现，一些企业用户表示，他们没有合适的资源来确保其AI系统的稳定性和安全性。

据微软称，Counterfit诞生于公司需要评估AI系统是否存在漏洞，目的在于积极保护AI服务。这个工具最初是专门为目标AI模型编写的攻击脚本集，后来演变成一个自动化产品，用于多个系统的大规模基准测试。

在底部，Counterfit是一个命令行实用程序，它为对抗框架和预加载算法提供了一个层，可用于逃避和窃取模型。Counterfit旨在使安全社区能够访问发布的攻击，并提供一个界面，通过该界面可以构建、管理和启动模型攻击。

在使用Counterfit对AI系统进行渗透测试时，安全团队可以选择默认设置、设置随机参数或定制每个参数以覆盖广泛的漏洞。拥有多种型号的组织可以使用Counterfit的内置自动化功能进行扫描，并可以选择多次扫描来创建运营基准。

Counterfit还提供日志记录，记录针对目标模型的攻击。正如微软指出的，遥测技术可能会促进工程团队提高对系统故障模式的理解。

在内部，微软将Counterfit作为其AI Red Team操作的一部分，并在AI开发阶段使用它来发现漏洞，然后再投入生产。该公司还表示，它已经与包括航空航天巨头空客在内的一些客户测试了Counterfit，空客正在开发一个基于Azure AI服务的AI平台。

“人工智能在工业上的应用越来越多”。空客高级网络安全研究员马蒂尔达罗德(Matilda Rhode)在一份声明中表示：“确保这项技术的安全性至关重要，尤其是要了解特征空间攻击在问题空间中的实施位置。”

基本上，企业希望人们相信AI不是被操纵的，是安全的。Gartner在1月份发布的“管理AI风险的五个优先事项”框架中提出的一个建议是，组织“针对攻击性攻击采取特定的AI安全措施，以确保抵抗力和弹性。”这家研究公司估计，到2024年，实施专业人工智能风险管理控制的组织避免负面人工智能结果的频率将是未被消除的组织的两倍。"

根据高德纳的一份报告，到2022年，30%的人工智能网络攻击将使用训练数据中毒、模型盗窃或对抗样本来攻击机器学习驱动的系统。