1.4.2　深度学习独领风骚

机器学习有很多经典算法，其中有一个叫作神经网络的算法。神经网络最初是一个生物学的概念，一般是指大脑神经元、触点、细胞等组成的网络，用于产生意识，帮助生物思考和行动，后来人工智能受神经网络的启发，发展出了人工神经网络。人工神经网络是指由计算机模拟一层一层的神经元组成的系统。这些神经元与人类大脑中的神经元相似，通过加权连接相互影响，并且通过改变连接上的权重，可以改变神经网络执行的计算。

最初的神经网络是感知器（Perceptron）模型，可以认为是单层神经网络，但由于感知器算法无法处理多分类问题和线性不可分问题，当时计算能力也落后，因此对神经网络的研究沉寂了一段时间。2006年，Geoffrey Hinton在科学杂志Science上发表了一篇文章，不仅解决了神经网络在计算上的难度，同时也说明了深层神经网络在学习上的优异性。深度神经网络（Deep Neural Network，DNN）的深度指的是这个神经网络的复杂度，神经网络的层数越多，就越复杂，它所具备的学习能力就越深，因此我们称之为深度神经网络。从此神经网络重新成为机器学习界主流强大的学习技术，同时具有多个隐藏层的神经网络被称为深度神经网络，基于深度神经网络的学习研究称为深度学习。

如图1-1所示，神经网络与深度神经网络的区别在于隐藏层级，神经网络一般有输入层→隐藏层→输出层，一般来说隐藏层大于2的神经网络叫作深度神经网络，深度学习就是采用像深度神经网络这种深层架构的一种机器学习方法。它的实质就是通过构建具有很多隐藏层的神经网络模型和海量的训练数据来学习更有用的特征，从而最终提升分类或预测的准确性。

图1-1

有计算机界诺贝尔奖之称的ACM A.M.图灵奖（ACM A.M. Turing Award）公布2018年获奖者由引起这次人工智能革命的三位深度学习之父—蒙特利尔大学教授Yoshua Bengio、多伦多大学名誉教授Geoffrey Hinton、纽约大学教授Yann LeCun获得，他们使深度神经网络成为计算的关键。ACM这样介绍他们三人的成就：Hinton、LeCun和Bengio三人为深度神经网络这一领域建立起了概念基础，通过实验揭示了神奇的现象，还贡献了足以展示深度神经网络实际进步的工程进展。

Google的AlphaGo与李世石九段惊天动地的大战，AlphaGo以绝对优势完胜李世石九段，击败棋圣李世石的AlphaGo所用到的算法实际上就是基于神经网络的深度学习算法。在自然语言处理领域，深度学习技术已经取得了很多重大突破。这些深度学习模型可以对大量的文本数据进行自动学习，自动生成丰富的语言表示，这些表示可以被用来解决多种自然语言处理任务，如火爆的ChatGPT的技术架构就是深度学习模型。人工智能、深度学习成为这几年计算机行业、互联网行业最火的技术名词。