目前,深度学习尽管已经取得了很多成果,在图像、语音等领域的表现也十分亮眼,但是该领域依然存在很多亟需解决的问题.
１)训练模式的优化问题.目前,深度学习模型训练在大多数情况下还是以监督学习为主,而监督学习的开展需要大 量的人工标注训练样本,这个过程往往会耗费较长的时间,也需要投入大量的人力,极其繁杂.其次,训练样本的多少、训练规模的大小会直接影响模型应用的精度,因此如何平衡训练规模、训练时间、训练精度和研究基础条件间的关系也是每项研究开展时所必须面临的问题.
２)理论创新问题.大部分深度学习模型都是基于卷积神经网络、受限玻尔兹曼机、自动编码器等最简单的神经网络结构叠加或混合组成的,在解决一些数据类型多样、数据结构复杂、数据关系繁复的问题时,往往难以获得较好的效果,因此,在深度学 习 模 型 结 构 的 创 新 上 还 需 要 更 深 层 次 的 研 究 与探索.
３)应用规模化问题.目前,大多数深度学习研究都还只是处于科研阶段,即使在语音和图像等比较成熟的领域,也少有规模化投入生产生活的应用产品.
４)中文资料较少的问题.深度学习这项技术起源于国外,能被及时译制的中文基础资料还较少,市面上大部分也都是一些炒概念的书籍,真正实用的工具资料较少.因此,文献资料的普及、核心技术的推广也是国内研究需要努力的方向.
随着 TensorFlow Windows版 本 的 推 出 以 及 Caffe２ 在Facebook平台的落户,未来深度学习将会有更多的人参与,上述问题与挑战也终将被解决和完成;其次,行业大数据化也会为深度学习提供更宽广的舞台.未来深度学习发展将会呈现出多平台、深层次、全网络的趋势.
深度学习是神经网络发展到一定时期的产物.最早的神经网络模型可以追溯到１９４３年 McCulloch等提出的 McＧCullochＧPitts计算结构,它大致模拟了人类神经元的工作原理,但需要手动设置权重,十分不便.１９５８年,Rosenblatt教授提出了感知机模型(perceptron),尽管相比前者,该模型能更自动合理地设置权重,但同样存在较大的局限,难以展开更多的研究.特 别 地,Minsky教 授 于 和 Paper教 授 于 １９６9年证明了感知机模型只能解决线性可分问题,并且否定了多层神经网络训练的可能性,甚至提出了「基于感知机的研究终会失败」的观点,此后十多年的时间内,神经网络领域的研究基本处于停滞状态.
２０世纪８０年代,计算机飞速发展,计算能力相较以前也有了质的飞跃.１９８６年,Rumelhart教授团队在 Nature上发表文章,提出了反向传播算法(BackPropagation,BP).BP算法的提出不仅有力地回击了 Minsky教授等人的观点,更引领了神经网络研究的第二次高潮.随后,玻尔兹曼机、卷积神经网络、循环神经网络等神经网络结构模型均在这一时期得到了较好的发展.２００６年,机器学习领域泰斗 Hinton及其团队在Science上发表了关于神经网络理念突破性的文章,首次提出了深度学习的概念,并指明可以通过逐层初始化来解决深度神经网络在训练上的难题.该理论的提出再次激起了神经网络领域研究的浪潮.此后,随着大数据时代的到来、互联网＋模式的发展,以及计算机性能的飞速提高,
