深度学习与TensorFlow

深度学习概述

人工智能AI

人工智能AI是计算机科学的一个分支，早在20世纪50年代就被提出了，著名的“图灵测试”就是AI发展的终极目标：如果某台机器运行的逻辑程序可以表现出与人类无法分辨的智能，则认为计算机有了思维，能够进行思考。从实用的角度讲，AI的目标是要让计算机自动完成那些需要人类智慧才能完成的工作。

深度学习的起因

• AI初期：专家系统
  AI发展初期，主要的思路是将人类总结的知识用一系列规范的、形式化的规则来表示，然后通过自动化的程序来代替人类处理问题，以知识为基础的专家系统（Knowledge-based expert system）就是这方面的典型代表。
  专家系统是将专家的经验写成规则，再依照规则推理的方式来模拟专家的思维。专家系统没有获得太大的成功，原因在于系统会明显受到规则数量的限制，规则是有限的，而问题发生时的状况是无限的，用有限的规则处理无限的可能，注定很容易失败。

• 专家系统->机器学习
  因此，“演绎法”的规则推理暂时行不通，“归纳法”就成了另一条出路，基于概率统计的机器学习（Machine Learning）逐渐成为了主流方法，其直接将大量真实世界产生的数据样本交给算法处理，让算法自己在数据中寻找和学习特定的规律，自己“归纳”知识。这种从数据中学习规律的过程也叫做“模式识别”。

• 机器学习->深度学习
  但这之后机器学习也遇到了一些问题，例如，对于朴素贝叶斯、逻辑回归等经典机器学习算法，本质是计算输入样本和输出目标之间的隐含规律/相关性，但计算相关性其实是一个后续问题，在这之前我们首先要确定各个影响因素，而如何表示各个影响因素会严重影响相关性的判断。如要辨别一段语言中演讲者是男人、女人还是小孩，简单机器学习算法的判断依据很可能是音量而非音色和音调。因此设计合适的特征表示在机器学习中是一项非常重要的工作，被称为特征工程。但长期以来，合适特征的选取都非常困难，不仅费事费力，更需要人们提供大量的先验知识以弥补对数据本身挖掘不足而产生的缺陷。因此若要拓展机器学习的适用范围，必须要降低对特征工程的依赖性。因此也就出现了深度学习。
  深度学习是一种表示学习（Representation Learning）方法，所谓表示学习，就是要让算法在少量人为先验知识的情况下，能够自己从数据中抽取合适的特征。而表示学习目前受到重视的另一个原因是对于人工智能，其目标就是让机器有能力理解我们所在的世界，只有当它学会如何感知和辨别数据背后的各种隐含因素时才能达到这个目标。
  深度学习最主要的模型是深度神经网络，其思想是通过一些列非线性变换操作把从原始数据中提取的简单特征进行组合，从而得到更高层、更抽象的特征表示，这也对应着我们思维理解的过程。如对于文本分析，先认识各个字母，再认识由字母组成的单词，其次是词组、句子、段落，逐渐由简单向抽象映射。一般有三个以上隐含层的神经网络就称为深度神经网络。

• CPU和GPU
  促进深度学习的另一个因素是GPU的广泛使用。GPU的主要功能是渲染画面，涉及到坐标变换、栅格化、平面渲染等大量的浮点数计算操作。相比来说，CPU是面向通用计算的产品，GPU则是面向大规模浮点数并行计算的，因此GPU训练计算神经网络的效率会更高。