深度学习真的万能吗 了解深度学习的局限性

深度学习较其余机器学习方法在各类义务中都体现优秀，各个机构或院校也花了渺小的精神和期间投入到深度学习，并取得了令人惊叹的成就。但深度学习近来也暴显露其外在缺陷，很多学界领军人物都在踊跃讨论处置方法和替代方案。因此本文力求论述深度学习的局限性，引发更多对深度学习的思索。

人工智能曾经到达了炒作的高峰。资讯报告称有的公司曾经经常使用 IBM Watson取代了工人、算法在诊断上击败了职业医生。每天都会有新的人工智能守业公司发生，宣称能经常使用机器学习取代你的公家和商业难题。

榨汁机、Wi-Fi 路由器这样个别的东西也突然宣称是「由人工智能驱动」。智能的站立式桌子不只能记住你调理的高度，也能为你点餐。

许多无关人工智能的嘈杂都由那些从未训练过神经网络的记者，守业公司或许从未真正处置过商业难题却想要被低价延聘的编程人才所收回的。所以，无关人工智能的才干与限度，不免有如此多的曲解。

深度学习无疑使人兴奋

神经网络发明于上世纪 60年代，但近年来大数据和计算才干的参与使得它们在实践上变得有用。于是，一种名为「深度学习」的新的学科发生，它能经常使用复杂的神经网络架构以史无前例的准确率建模数据中的形式。

结果无疑使人惊讶。计算机如今能比人类更好地识别图像和视频中的物体以及将语音转录为文本。谷歌就用神经网络取代了谷歌翻译的架构，如今机器翻译的水平曾经很凑近人类了。

深度学习在实践运行中也令人兴奋。计算机能够比 USDA 更好的预测农作物产量，比医师更准确的诊断癌症。DARPA 的主任 John Launchbury曾这样形容人工智能的三个浪潮：

作为目先人工智能浪潮的第二波，深度学习算法由于 Launchbury 所说的「流形假定(manifoldhypothesis)」(见下图)而愈加有效。便捷解释，它指代不同类型的高维人造数据如何聚成一块，并在低维可视化中有不同的形态。

经过数学运算并宰割数据块，深度神经网络能辨别不同的数据类型。虽然神经网络能够取得精妙的分类与预测才干，它们基本上还是 Launchbury所说的「spreadsheets on steroids」。

深度学习也有深度难题

在最近的 AI By The Bay 大会上，Francois Chollet强调深度学习是比以前的统计学和机器学习方法更为弱小的形式识别方法。「人工智能如今最关键的疑问是形象和推理，」Google 的人工智能钻研员 Chollet解释到，他是驰名的深层学习库 Keras的构建者。他说：「目前的监视感知和强化学习算法须要少量的数据，在久远布局中是很难成功的，这些算法只能做便捷的形式识别。」

相比之下，人类「从很少的案例中学习，可以启动久远布局，他们能够构成一种情境的形象模型，并 [操纵] 这些模型成功极致的泛化。

即使是便捷的人类行为，也很难传授给深度学习算法。例如咱们须要学习在路上防止被汽车撞上，假设经常使用监视学习，那就须要巨量的汽车情境数据集，且明白标注了举措(如「中止」或「移动」)，而后你须要训练一个神经网络来学习映射不同的状况和对应的执行。

假设驳回强化学习，那你须要给算法一个目的，让它独立地确定理想的执行。为学习到在不同状况下规避汽车，计算机或许须要先被撞上千次。Chollet正告说：「仅仅经过扩展当天的深度学习技术，咱们无法成功通用智能。

规避汽车，人类只要要告知一次性就行。咱们具备从便捷大批的例子中概括出事物的才干，并且能够构想(即模拟)操作的结果。咱们不须要失去生命或肢体，就能很快学会防止被车撞上。

虽然神经网络在大样本量上到达统计学上令人惊讶成绩，但它们「对个例无法靠」，并且经常会造成人类永远不会发生的失误，如将牙刷分类为棒球棒。

结果与数据一样好。输入不准确或不完整数据的神经网络将发生失误的结果，输入结果或许既难堪又有害。在两个最闻名的缺陷中，Google图像失误地将非洲裔美国人分类为大猩猩，而微软的 Tay 在 Twitter 上学习了几个小时后，就发生了种族主义以及歧视女性的舆论。

咱们的输入数据中隐含有不希冀的偏向。Google 的大规模 Word2Vec 嵌入是在 Google 资讯的 300万字基础上建设的。数据集中含有诸如「男子成为医生，女性成为护士」这样的性别成见关联。钻研人员，如波士顿大学的 Tolga Bolukbasi，曾经采取了在Mechanical Turk 上启动人类评级的形式执行「hard de-biasing」来撤销这种关联。

这样的战略是至关关键的，由于依据 Bolukbasi的说法，「词嵌入不只反映了刻板印象，同时还会扩展它们」。假设「医生」代表的男子比女性更多，那么算法或许在放开医师职位上将男子求职者定义优先于女性求职者。

最后，生成反抗网络(GAN)的提出者 Ian Goodfellow标明，神经网络或许被反抗性样本故意地诈骗。经过人眼无法见的形式在数学上处置图像，复杂的攻打者可以诈骗神经网络发生重大失误的分类。

深度学习之外是什么?

咱们如何克制深度学习的局限性，并朝着通用人工智能迈进?Chollet初步的方案包含经常使用「超级人类形式识别(如深度学习)增强显式搜查和正式系统」，并且他预备从数学证实的角度开局。智能定理证实(ATP)通经常常使用 bruteforce 算法启动搜查，而这很快就会造成在实践经常使用中的组合暴跌。在 DeepMath 名目中，Chollet和他的共事们经常使用深度学习辅佐证实搜查环节，他们模拟数学家的直觉，即使用哪一类引理(证实中的辅佐或两边定理)证实或许是对的。

另一种方法是开发愈加可解释性的模型。在手写字体识别中，神经网络目前须要对几万到几十万个样本启动训练才干得出较为优秀的分类。但是，DARPA 的Launchbury 并不只仅关注像素，他解释道生成模型能学习在任何给定字符前面的笔画，并能经常使用这种物理结构消息来消弭相似数字间的歧义，如 9 或 4。

卷积神经网络(CNN)的推进者，Facebook 的人工智能钻研主管 Yann LeCun 提出了「基于能量的模型(energy-basedmodels)」，该模型是克制深度学习限度的一种方法。通常，训练神经网络以得出单个输入，如照片分类标签或翻译的句子。而 LeCun的基于能量模型(energy-based models)反而给出一整组或许的输入，如句子一切或许的翻译形式和每特性能的分数。

深度学习的推进者 Geoffrey Hinton宿愿经常使用「capsules」替代神经网络中的神经元，他置信其能更准确地反映人类思想中的皮层结构。Hinton解释道：「退化必定曾经找到了一种有效的方法顺应感知通路的早期特色，所以它们更有助于几个阶段的特色处置。」他宿愿 capsule-based神经网络架构将更能抵制 Goodfellow 下面所提到的反抗性样本攻打。

兴许一切这些克制深度学习限度的方法都具备实在价值，兴许都没有。只要期间和继续的人工智能钻研才干拨开一切迷雾。

【本文是专栏机构机器之心的原创译文，微信群众号“机器之心( id: almosthuman2014)”】

戳这里，看该作者更多好文