掀起人工智能的新高潮 1 人工智能简史 深度学习

兴许你感觉人工智能离你还有点远，只存在于谷歌那渺小无比的数据中神思房，或许充溢奥秘感的麻省理工学院机器人试验室。其实，透过互联网和智能手机，人工智能曾经开局渗入咱们每天的日常生存。

假定你生存在笔者老家，福建漂亮的海滨市区厦门。早晨起来，当你关上手机里的“今天头条”APP，看看当天有什么资讯时，“今天头条”的人工智能介绍系统会依据你过去的浏览状况，给你介绍你特意青睐的NBA篮球明星库里的赢球信息。下班路上，当你关上“百度地图”APP，用语音间接说出了目的地“厦门大学”时，“百度地图”会智能识别你略带福建口音的普通话，并为你导航了一条不那么堵车的线路。到了公司，当你关上邮件系统时，基于人工智能的反渣滓邮件算法曾经为你屏蔽了几十条渣滓邮件，默默地协助你提高任务效率。你还可以应用“科大讯飞”的人工智能语音输入软件口述成功一篇关键文件，并驳回“谷歌翻译”将文件翻译成英文和西班牙文，而后发给你国外的客户。半夜吃完午餐，你和共事到左近的公园散步，看到草坪上有一棵树开着红花，十分漂亮，你想知道这种花叫什么，于是你关上手机中的“形色”APP，拍照上行，很快，人工智能图像识别算法识别出这种花学名叫红花羊蹄甲，又称紫荆花，花语意味着兄弟友情……

在这些给咱们带来繁难和快乐的人工智能算法面前，最外围的就是目先人工智能畛域最炽热的深度学习技术。第2章讲述了人工智能在象棋和围棋畛域逾越人类环球冠军的故事，Alpha Go围棋软件特意弱小的要素，是它的战略网络和估值网络，而这两个子系统的发生，靠的也是深度学习。

兴许你会问，什么是深度学习？繁难地说，机器学习是人工智能中很关键的一个学科，而深度学习是机器学习的一个分支。机器学习成功的是让计算机透过少量的数据或以往的阅从来学习，始终提升计算机程序的性能，成功分类或预测等配置。深度学习可以让领有多个处置层的神经网络计算模型来学习具备多档次形象数据的示意，繁难地说，深度学习能够发现大数据中的复杂结构。这些概念虽然听起来有点复杂，然而在本书的后续局部会作进一步的解释。

近几年来，深度学习在图像识别、语音识别、人造言语处置、机器人、医学智能诊断、搜查引擎等方面都取得了十分惊人的成绩，并且经过手机和互联网开局片面影响人类的任务和生存。在本章中，让咱们来一同重温深度学习的历史，并且讨论人工智能和深度学习的各种运行。

早期的人工神经网络

深度学习的概念源于人工神经网络的钻研，早期的神经网络模型试图模拟人类神经系统和大脑的学习机理。1943年，神经生理学家沃伦·麦卡洛克（Warren Mc Culloch）和逻辑学家沃尔特·皮茨（Walter Pitts）联结宣布了关键论文《神经优惠中外在思维的逻辑演算》（A logical calculus of the ideas immanent in nervous activity）。在论文中，他们模拟人类神经元细胞结构提出了麦卡洛克-皮茨神经元模型（McCulloch-Pitts Neuron Model，简称MP模型，见图3.1），初次将神经元的概念引入计算畛域，提出了第一团体工神经元模型，从此开启了神经网络的大门，表3.1是动物神经元与MP模型。

MP模型大抵模拟了人类神经元的任务原理，就是将一些输入信号启动一些变换后失掉输入结果。在图3.1中，图的下部是一团体工神经元，有N个输入信号x1，x2，…，xN（对应于人类神经元的N个树突，每个树突与其余神经元衔接失掉信号），每个信号对应于一个权重（对应于每个树突衔接的关键性），即W11，W12，…，W1N，计算这N个输入的加权和，而后经过一个阈值函数失掉“0”或许“1”的输入。输入的结果，在人类神经元中，“0”和“1”可以代表神经元的“压制”和“激活”形态，在人工神经元中，“0”和“1”可以代表逻辑上的“No”和“Yes”。

1958年，心思学家弗兰克·罗森布拉特（Flank Rosenblatt）传授提出了感知机模型（Perceptron），感知机是基于MP模型的单层神经网络，是首个可以依据样例数据来学习权重特色的模型。关于线性可分为两类的数据，依照感知机的误差批改算法，可以依据样例数据经过屡次迭代运算，最终成功运算收敛，确定每个输入x对应的权重W。咱们把迭代运算的环节称为“神经网络的训练”，最终训练好的神经网络可以对新的数据作分类预测。这就是最繁难的“机器学习”的环节。

受感知机模型的启示，20世纪60年代，有不少数学家、物理学家和计算机工程师投身于神经网络的钻研。1969年时，驰名的人工智能专家明斯基传授和西蒙·派珀特（Seymour Papert）传授出版了《感知机：计算几何学导论》一书（Perceptrons∶An Introduction to Computational Geometry），书中证实了感知机模型只能处置线性可分疑问，明白指出了感知机无法处置异或疑问等非线性可分疑问。同时，书中也指出在过后的计算才干之下，成功多层的神经网络简直是无法能的事件。明斯基传授和派珀特传授对感知机钻研的乐观预测，造成了神经网络钻研的第一次性高潮，此书出版后的十多年，基于神经网络的钻研简直处于停滞形态。

一代宗师杰弗里·辛顿

1986年，深度学习的一代宗师杰弗里·辛顿（Geoffrey Hinton）传授开局锋芒毕露，这一年，辛顿传授、大卫·鲁梅哈特（David Rumelhart）传授和罗纳德·威廉姆斯（Ronald Willliams）传授在《人造》杂志上宣布了关键论文《经过反向流传算法成功表征学习》（Learning Representations by Back-propagating Errors），文章中提出的反向流传算法大幅度降落了训练神经网络所须要的期间。直到30年后的当天，反向流传算法依然是训练神经网络的基本方法。同时，辛顿传授提倡的深层神经网络，也可以很好地处置异或疑问和其余的线性无法分疑问。

辛顿传授（见图3.2），1947年出世在英国。他出世于一个十分传奇的家族，他爷爷的外公就是平凡的数学家乔治·布尔（George Boole），布尔代数的奠基人。乔治·布尔的太太叫玛丽·埃佛勒斯（Mary Everest），是一位作家，著有《代数的哲学和乐趣》。玛丽·埃佛勒斯的叔叔是乔治·埃佛勒斯（George Everest），英国驰名的测绘学家和探险家，曾经担任过后的英国殖民地印度的测量局局长，指导了喜马拉雅山脉的测量任务。起初英国人以他的姓氏命名了环球最高峰——珠穆朗玛峰，英文名为Mount Everest。辛顿传授全名Geoffrey Everest Hinton，当年他家人给他命名Everest时，兴许曾经对他未来勇攀迷信高峰许下了祝愿。顺便帮文艺青年“八卦”一下，乔治·布尔的小女儿伏尼契（Ethel Lilian Voynich），就是中国读者特意青睐的一本小说《牛虻》的作者，她自己的生存和恋情也极端精彩，传说她与超级特务西德尼·雷里（Sidney Reilly，电影《007》中詹姆斯·邦德（James Bond）的原型人物）还有过一段浪漫的恋情，在这里就不再赘述了。

辛顿传授的父亲霍华德·埃佛勒斯·辛顿（Howard Everest Hinton）是昆虫学家，曾祖父查尔斯·霍华德·辛顿（Charles Howard Hinton）是一个出名的数学家和最早期的科普作家和科幻小说家。从高中时代开局，辛顿就对人类大脑和神经网络的微妙深深着迷。1970年，辛顿毕业于剑桥大学，本科拿的是试验心思学的学士学位。1978年取得爱丁堡大学的人工智能博士学位，曾经在卡内基梅隆大学计算机系任务过5年。起初，他移居加拿大，成为多伦多大学的一位驰名传授。

在辛顿传授科研生涯的前20多年里，虽然取得了不少成绩，然而由于计算机的计算速度还不够快，深层神经网络的提升较为艰巨，所以基于深层神经网络的深度学习并未在学术界取得足够的注重，宣布文章和失掉科研经费也都比拟艰巨。辛顿传授十分坚决地默默保持自己的钻研任务，同时造就了不少低劣的在校生和协作者，包含起初深度学习畛域小名鼎鼎的延恩·乐存（Yann LeCun）和约书亚·本吉奥（Yoshua Bengio）。

2004年，依托来自加拿大初级钻研所的资金允许，辛顿传授创立了“神经计算和自顺应感知”名目，简称NCAP名目。NCAP名目的目的是创立一个环球一流的团队，努力于动物智能的模拟，也就是模拟出大脑运用视觉、听觉和书面言语的线索来做出了解并对它的环境做出反响这一环节。辛顿传授精心筛选了钻研人员，约请了来自计算机迷信、动物、电子工程、神经迷信、物理学和心思学等畛域的专家介入NCAP名目。起初的理想证实，辛顿传授建设这样的跨学科协作名目对人工智能的钻研是一个平凡的创举，活期加入NCAP名目研讨会的许多钻研人员，比如延恩·乐存、约书亚·本吉奥和吴恩达（Andrew Ng），如图3.3所示，起初也都取得了十分突出的成绩。最外围的是这一团队系统地打造了一批更高效的深度学习算法，最终，他们的卓越成绩推进了深度学习成为人工智能畛域的干流方向。2012年，辛顿传授取得有“加拿大诺贝尔奖”之称的基廉奖（Killam Prizes），这是加拿大的国度最高迷信奖。

图3.3 左至右为乐存、辛顿、本吉奥和吴恩达

2013年，谷歌公司收买了辛顿传授创立的DNN Research公司，实践上，这家公司没什么产品和客户，只要3个深度学习畛域的牛人，辛顿传授和他的两个在校生，区分是曾经赢得2012年的Image Net大赛的埃里克斯·克里泽夫斯基（Alex Krizhevsky）和以利亚·苏斯科夫（Ilya Sutskever）。有人调侃Google花了几千万美元买了几篇论文，笔者以为，谷歌这种大手笔引进环球最顶尖人才的方式，正好表现了谷歌两位老板拉里·佩奇（Lawrence Edward Page）和谢尔盖·布林（Sergey Brin）面向未来的雄才大约，十分值得中国的企业家学习。2014年，谷歌花4亿美元收买Deep Mind公司时，Deep Mind公司也就是刚刚在《人造》杂志宣布了一篇应用强化学习算法玩计算机游戏论文的小公司，很多人都不了解为什么这家公司值这么多钱。起初Deep Mind研发了震惊环球的Alpha Go之后，人们才开局置信佩奇和布林的远见。