簡單來說就是我們沒有足夠的人手能夠在短時間內同時技術上做出足夠的深度而且大規模推廣,所以我們前期是舍推廣保技術。
詳細來說我稍微發散下,可以把當下的深度學習(DL)比作修真世界(傳統武俠也類似)。學術界是各個門派,公司是世家,不過這個世界裏世家比較強勢。目前是盛世,各個流派之爭,新人和技術層出不窮,各大擂台(例如imagenet)和大會(據說今年nips 8k人參加,一個月前就把票賣光了)熱火朝天。平台作為修真練級法寶,自然也是各家PK重要之地。
各個平台是怎麽「火」起來的
簡單的來吧DL分三個階段來看,前DL時代就是Alexnet沒有刷出imagenet第一的時候,當時候主流算是torch和theano,從上一個神經網路的時代的兩大修正大門流傳下來,還是有堅實的使用者基礎。之後魔界(kernel)入侵,神經網路衰敗。但10年後Alexnet橫空出世,借著大數據和GPU的銳劍無鋒,橫掃三界。同時也促使了很多新的平台的出現,caffe是之一,很多公司也有做自己的,例如百度的paddle,G的distbelief,我們也有做一個類似的計畫叫cxxnet。大體上這些平台使用體驗差不多,給一個configure就能跑。這裏面caffe是最成功,我覺得重要兩點是時間點很好,就是dl在cv爆發的那段時間,然後caffe有在imagenet pretrain的模型,這個很方便大家的研究。畢竟大部份工作要麽是改改operator重新跑一下,要麽是基於pretrained的模型來finetune一個別的任務。
之後出來的比較成功的平台主要是靠提供更加靈活的開發環境來吸引新人。例如tensorflow和keras。
tf作為當下修真界最大門的平台,成功沒有什麽意外(1)G brain在這個領域上耕耘了5,6年,做為第二代產品在品質確實很優秀。(2)在jeff dean的號召下brain網羅了一大幫人,跟他們團隊接觸過很多次,整體人員品質甩出其他家很遠,以至於經常是好幾個我覺得能獨當一面的大牛一起在做一些很小的事情。例如我在cmu系統方向的老板dave在brain好長一段時間就是debug為什麽inception v3從distbelief移植到tf老是跑不出想要的精度。(另,類似的坑我們也踩過,我還笑過dave你如果問我們一下可以省下你大筆時間,dave回我們人多任性不求人。)(3)G的宣傳機器如果稱第二,那業界估計沒人敢說第一。這次G不遺余力的宣傳tf,連帶推動了整個DL的火熱。
keras比較有意思,基本是François Chollet一人之力做的,有點是散修自己折騰出來的(他人現在在G,不過他去G之前就開始keras了)。它的優勢就是簡單,底層靠theano或者tensorflow,上層提供一個非常簡單的介面,非常適合新使用者使用。修真界新人練氣的不二法寶。
MXNet現狀
mxnetet是散修小團體一起合力做出來的平台。如果去看排名前20的開發者,基本都是出自不同的門派和世家。這個是mxnet最大的特色。我對此表示很自豪,這裏匯聚了一大幫跑得出實驗寫得出程式碼的小夥伴。
不論是開始時間還是平台特性,mxnet最靠近tensorflow。有完整的多語言前端,後端類似編譯器,做這種記憶體和執行最佳化。套用場景從分布式訓練到移動端部署都覆蓋。整個系統全部模組化,有極小的編譯依賴,非常適合快速開發。相對於tf這種重量型的後端,mxnet的輕量化路線使得可以我們在花費G brain 1/10的人力的情況下做到類似tf技術深度的系統。
從推廣的角度來說,需要的是清晰的文件,大量的樣例,媒體曝光,和客服。這個對於散修團體而說前期比較困難。不過最近也慢慢趕上了。
根據keras作者的平台排名,目前mxnet屬於第四,前三分別是tf,caffe,keras。因為dl也是剛興起不久,目前的使用者可能一大半是剛入門不久,選擇tf/keras很符合情理。對於學術界而言,通常效能不是很關鍵,最重要是開發成本,如果前面的工作用了caffe/torch,那基本會一直用下去。
我們也回訪過我們使用者,很多都是工業界使用者,基本都是屬於有很強的技術能力,他們關心效能,開發和移植的便利性,和是不是能在開發社群裏獲得一定的話語權。事實上,mxnet離人也很近,例如
- 某占有率很高手機利用mx處理圖片
- 好幾個常見的app雲端利用mx處理數據
- aws/azure都寫了好幾篇blog普及在雲上面執行mxnet
- 國內幾個技術能力很強的ai創業公司內部用mx
整體而言,不管是dl技術,套用,還是平台,目前說什麽都尚早。技術和潮流都是日新月異,修仙之路也剛開始。我覺得最核心的是,有一群有最求的人,一起合力做一件事情,不斷往前。
PS. 我在考慮要不要寫一個關於DL/ML的修仙系列。例如「魔界小王子,譽為最有希望帶領魔界重殺回來領袖的叛逃心路歷程」,「我跟修真界第一門掌門的故事」,「如何利用入門道具組裝小型陣法加速修煉」,「解析為什麽大門長老屢屢逃奔世家」。。。