微软开放AI安全风险评估工具Counterfit源代码

近日，微软开源了AI安全风险评估工具Counterfit，该工具旨在帮助开发人员测试AI和机器学习系统的安全性。该公司表示，Counterfit可以使组织进行评估，以确保其业务中使用的算法是可靠和可信赖的。

当前，人工智能技术正越来越多地应用在医疗，金融和国防等受监管的行业中。但是，组织在采用风险缓解策略方面处于落后状态。一个微软的调查发现，部分企业用户表示，他们没有合适的资源，以确保他们的AI系统的稳定性和安全性。

微软表示，Counterfit诞生于该公司评估AI系统是否存在漏洞的需求，目的是主动保护AI服务。该工具起初是专门为目标AI模型编写的攻击脚本集，然后演变为自动化产品以对多个系统进行大规模基准测试。

在底层，Counterfit是一个命令行实用程序，为对抗性框架提供了一层，并预先加载了可用于逃避和窃取模型的算法。Counterfit寻求使安全社区可以访问已发布的攻击，同时提供一个界面，通过该界面可以构建，管理和发起模型攻击。

当使用Counterfit在AI系统上进行渗透测试时，安全团队可以选择默认设置，设置随机参数或自定义每个参数以覆盖广泛的漏洞。具有多个模型的组织可以使用Counterfit的内置自动化功能进行扫描，并可以选择多次扫描，以创建操作基准。

Counterfit还提供日志记录以记录针对目标模型的攻击。正如微软指出的那样，遥测技术可能会促使工程团队提高对系统故障模式的了解。

在内部，微软将Counterfit用作其AI红色团队运营的一部分，并在AI开发阶段中使用，以在漏洞投入生产之前发现漏洞。该公司还表示，它已经与多家客户进行了Counterfit的测试，其中包括航空航天巨头空客公司（Airbus），该公司正在开发基于Azure AI服务的AI平台。

“人工智能在工业中的使用越来越多”。空客公司高级网络安全研究员Matilda Rhode在一份声明中说：“确保这种技术的安全至关重要，特别是要了解在问题空间中可以在何处实现特征空间攻击。”

基本上，企业希望人们相信AI是不受操纵，是安全的。1月发布的Gartner的“管理AI风险的5大优先事项”框架中的一项建议是，组织“ 针对攻击性攻击采取特定的AI安全措施，以确保抵抗和复原力。” 这家研究公司估计，到2024年，实施专门的AI风险管理控制的组织将避免负面的AI结果的发生频率是未消除负面结果的两倍。”

根据Gartner的 一份报告，到2022年，所有AI网络攻击中有30％将利用训练数据中毒，模型盗窃或对抗性样本攻击以机器学习为动力的系统（雷锋网雷锋网雷锋网）

本文编译自：
https://venturebeat.com/2021/05/04/microsoft-open-sources-counterfit-an-ai-security-risk-assessment-tool/