关上神经网络的 Facebook的交互式神经网络可视化系统ActiVis 黑盒子
之前许多媒体在热烈探讨神经网络的“黑盒子”(blackbox)疑问。复杂的模型处置预测性上班负载时体现良好,然而说到回溯系统是如何得出最终结果的,基本没有一种明晰的方法来了解什么做对了、什么做错了,或许了解模型如何关上自己、得出论断。
关于老式机器学习模型而言,这疑问不大;然而当初关于非线性躲藏式数据结构和有数参数而言,这却是个疑问。关于为迷信运行部署神经网络的钻研人员而言,黑盒子不足再现性(reproducibility)这个疑问带来了验证方面的阻碍,不过关于深度学习框架的消费级用户来说,因不足可见性而无法深化了解网络行为还存在其余疑问,尤其是在提升模型,以取得更好的性能、效率和准确性方面。
要处置这个疑问,一个方法就是对神经网络模型履行可视化――这正是社交媒体巨头Facebook与佐治亚理工学院(GeorgiaTech)的钻研人员独特努力于攻克的课题。Facebook的深度学习经常使用场所不只仅局限于图像剖析,这象征着不同类型的数据被馈送到模型。遗憾的是,用于神经网络可视化的工具大少数专一于图像数据集,这激起了Facebook钻研用于Facebook消费环境中的一种名为ActiVis的工具,这是一种交互式可视化系统,可用于解释大规模神经网络模型和结果。
佐治亚理工学院的钻研团队就在一年多前开局与Facebook的工程师协作,了解他们的剖析平台、什么可视化工具实用。除了开发这种一样工具面临的严重技术应战外,这种工具除了能够融入到Facebook的现无机器学习平台,还要“具备灵敏性,可推行到Facebook等公司用于其许多产品和服务的泛滥模型和数据集”。
该平台由几个不同的机器学习元素组成。外围元素是Facebook的一致机器学习平台,名为FBLearnerFlow,它担任协调不同的机器学习上班流程。Flow的目的是,让开发人员不用编写代码就可以训练模型,并检查结果。
ActiVis允许两种解释战略来用于可视化和比拟多个实例和子集。它一致了基于实例的审核和基于子集的审核;它严密地整合了复杂模型的概述和部分审核,可灵敏裁减,允许一系列宽泛的行业规模的数据集和模型――关于想针对其数据经常使用现有模型,然而又不想深化实施细节的那些人来说,Facebook外面的这个工具十分贵重。ActiVis特意专一于FBLearnerFlow用于可视化,一方面是由于其用户群。
“ActiVis直观地显示用户指定的实例或实例子集如何激活神经元,从而协助用户了解模型是如何导出预测的。用户可以经常使用原始数据属性、变换的特色和输入结果,轻易定义子集,可以从多个角度来审核模型。”
佐治亚理工学院的团队示意,关于大规模设计这类可视化系统的任何人来说,为神经网络构建一个稳如泰山的平台触及几个元素。他们提到了输入源和数据格局的多样性、宏大数据量、复杂的模型架构,不一而足。
“虽然许多现有的深度学习可视化工具允许基于实例的探求,ActiVis却是***款同时允许对深度神经网络模型启动基于实例的探求和基于子集的探求的工具。此外,为了协助用户了解模型的大抵状况,它经常使用图形显示了模型架构,用户可以在此基础上深化剖析,在每个模型层或节点这一层面,对神经元激活口头部分审核。”
该团队示意,想要经常使用这种可视化工具的Facebook开发人员减少了几行代码,这些代码通知模型在FBLearnerFlow界面中的训练环节:它须要生成可视化所需的数据。训练完结后,界面提供了这个基于Web的工具的链接,以便可视化和探求模型。
该团队称:“ActiVis旨在处置Facebook的许多不同的模型和数据集。由于经常经常使用复杂模型和大型数据集,ActiV具备可裁减性和灵敏性很关键,那样工程师可以为其模型轻松驳回ActiVis,用户可以可视化和探求模型,用于处置剖析义务。”
***,对神经网络启动可视化以处置黑盒子疑问不是什么新颖事,然而由于模型变得更复杂――这归因于配件和更多的数据,今后会愈加须要诸如此类的工具。咱们估量,在今后几年,接入到关键平台(包含TensorFlow、Caffe及其余)的相似的可视化工具会开源,甚至或许成功商业化,抵消费环境和迷信计算这两种经常使用场景来说都是如此。