目前,深度學習盡管已經取得了很多成果,在影像、語音等領域的表現也十分亮眼,但是該領域依然存在很多亟需解決的問題.
１)訓練模式的最佳化問題.目前,深度學習模型訓練在大多數情況下還是以監督學習為主,而監督學習的開展需要大 量的人工標註訓練樣本,這個過程往往會耗費較長的時間,也需要投入大量的人力,極其繁雜.其次,訓練樣本的多少、訓練規模的大小會直接影響模型套用的精度,因此如何平衡訓練規模、訓練時間、訓練精度和研究基礎條件間的關系也是每項研究開展時所必須面臨的問題.
２)理論創新問題.大部份深度學習模型都是基於摺積神經網絡、受限波茲曼機、自動編碼器等最簡單的神經網絡結構疊加或混合組成的,在解決一些數據類別多樣、數據結構復雜、數據關系繁復的問題時,往往難以獲得較好的效果,因此,在深度學 習 模 型 結 構 的 創 新 上 還 需 要 更 深 層 次 的 研 究 與探索.
３)套用規模化問題.目前,大多數深度學習研究都還只是處於科研階段,即使在語音和影像等比較成熟的領域,也少有規模化投入生產生活的套用產品.
４)中文資料較少的問題.深度學習這項技術起源於國外,能被及時譯制的中文基礎資料還較少,市面上大部份也都是一些炒概念的書籍,真正實用的工具資料較少.因此,文獻資料的普及、核心技術的推廣也是國內研究需要努力的方向.
隨著 TensorFlow Windows版 本 的 推 出 以 及 Caffe２ 在Facebook平台的落戶,未來深度學習將會有更多的人參與,上述問題與挑戰也終將被解決和完成;其次,行業大數據化也會為深度學習提供更寬廣的舞台.未來深度學習發展將會呈現出多平台、深層次、全網絡的趨勢.
深度學習是神經網絡發展到一定時期的產物.最早的神經網絡模型可以追溯到１９４３年 McCulloch等提出的 McＧCullochＧPitts計算結構,它大致模擬了人類神經元的工作原理,但需要手動設定權重,十分不便.１９５８年,Rosenblatt教授提出了感知機模型(perceptron),盡管相比前者,該模型能更自動合理地設定權重,但同樣存在較大的局限,難以展開更多的研究.特 別 地,Minsky教 授 於 和 Paper教 授 於 １９６9年證明了感知機模型只能解決線性可分問題,並且否定了多層神經網絡訓練的可能性,甚至提出了「基於感知機的研究終會失敗」的觀點,此後十多年的時間內,神經網絡領域的研究基本處於停滯狀態.
２０世紀８０年代,電腦飛速發展,計算能力相較以前也有了質的飛躍.１９８６年,Rumelhart教授團隊在 Nature上發表文章,提出了反向傳播演算法(BackPropagation,BP).BP演算法的提出不僅有力地回擊了 Minsky教授等人的觀點,更引領了神經網絡研究的第二次高潮.隨後,波茲曼機、摺積神經網絡、迴圈神經網絡等神經網絡結構模型均在這一時期得到了較好的發展.２００６年,機器學習領域泰鬥 Hinton及其團隊在Science上發表了關於神經網絡理念突破性的文章,首次提出了深度學習的概念,並指明可以透過逐層初始化來解決深度神經網絡在訓練上的難題.該理論的提出再次激起了神經網絡領域研究的浪潮.此後,隨著大數據時代的到來、互聯網＋模式的發展,以及電腦效能的飛速提高,
