Facebook的Captum为机器学习带来了可解释性

Facebook今天推出了Captum，这是一个用于解释具有深度学习框架PyTorch的神经网络决策的库。Captum旨在实现AI模型的最新版本，例如集成梯度，DeepLIFT和电导。Captum允许研究人员和开发人员解释在多模式环境中做出的决策，这些决策结合了例如文本，图像和视频，并允许他们将结果与库中现有模型进行比较。

开发人员还可以使用Captum来了解功能的重要性，或者深入研究神经网络来了解神经元和层的属性。

该工具还将与Captum Insights一起启动，Captum Insights是用于可视化表示Captum结果的可视化工具。Facebook在博客中表示，Insights推出时支持集成渐变，不久将支持其他模型。

PyTorch表示：“还有其他的图书馆更着重于上下文，但是，在试图解释模型的实际想法时，深度学习确实是最困难的难题，尤其是在涉及这些多模式技术问题时。”产品经理乔·斯皮萨克(Joe Spisak)在接受VentureBeat Ina的电话采访时表示。

该消息今天在PyTorch开发者大会上宣布，该大会在旧金山的Midway举行。

今天的其他新版本包括具有量化功能和Google Cloud TPU支持的PyTorch 1.3，适用于从Android和iOS设备开始的嵌入式设备的PyTorch Mobile，以及对象检测模型Detectron2。

Spisak说，在今天开源之前，Captum在Facebook内部被用来更好地理解多模式环境中的决策。

“您可以查看任何Facebook页面，其中包含文本，音频，视频和链接，并且嵌入了许多不同类型的模式。因此，我们基本上是从这样一个前提开始的：我们想了解模型为什么要预测其预测的内容，但是我们希望以一种直观的方式进行操作，从而为用户提供直观的信息以及具体的统计数据和信息让他们自信地说这就是模型做出此预测的原因，”他说。

可解释性(理解AI模型为何做出决定的能力)对于开发人员能够传达模型为什么做出特定决定的能力很重要。它使AI在需要可解释性的业务中得以应用，以遵守法规。

缺乏理解深度学习做出的决策的能力已使“黑匣子”一词普及。

在今年夏天与VentureBeat的Kyle Wiggers进行的一次对话中，OpenAI首席技术官Greg Brockman和首席科学家Ilya Sutskever建议，未来的模型制作应以可解释性和合理性为依据。

今年发布的其他有助于解释AI推理的工具包括IBM的AI Explainability 360工具包和Microsoft于5月发布的InterpretML。