當前位置: 華文星空 > 汽車

上海AI lab什麽來頭,好厲害,挺高產?

2023-02-12汽車

看了之前那篇被刪掉的吐槽文,我覺得吐的槽算是valid,但絕對上升不到學術不端的程度。我憑借記憶回憶一下那位知友吐的槽:

一大類問題是在github上提issue問用了多少GPU之類的細節(影響了batch size),repo作者答不上來直接關閉issue。這一類問題,大家經常做實驗的可以捫心自問,是不是有些中了大獎的實驗找不回詳細參數的?當然作為優秀的研究機構,在模型管理上不嚴謹是值得詬病,但你要說這屬於學術不端,未免太小題大做了吧?

類似的幾個問題都集中在一個焦點:sota無法復現。甚至吐槽的知友還很明確的提出:我不關心你公開的模型是不是sota,我只關心你怎麽訓練出來的sota。我理解,作為學術界的研究者,要出論文要刷sota,搞一點incremental innovation,首先得復現sota,否則所謂刷sota是無從談起的。但你不得不承認妄圖復現一個訓練中偶爾中的大獎幾乎不可能,各種超參數不提,最大的影響因素是系統的隨機性,所以比較好的論文會反復做實驗提供每一個超參數點的variance。但現在這些BEV模型的訓練如此昂貴,每一個超參數都訓練10次並不現實。

UniAD,OccNet,都屬於結構類似,思想類似,提供了公開模型佐證其有效性的,對於我,從業者而言,這就足夠solid了,省掉幾百個W是至少的。至於能否基於nuScenes復現整個訓練過程,拜托,那是刷點的研究者們在乎的事情好嗎?我為什麽要在這麽一個只能做PoC的弱雞數據集上復現?

吐槽的知友花費無數時間和計算資源之後復現不出sota那種憤怒的心情完全可以理解,我的想法仍然是相反的,能夠復現訓練屬於加分項,只要公開的模型能sota,這篇文章就不能屬於學術不端了,除非他用了一些沒公開的trick或者數據進行了額外的操作,比如在什麽inhouse超大規模數據集上預訓練之類的。

不過確實有一篇論文,沒有放出sota的模型,只有程式碼,那麽這篇論文是否學術不端確實是存疑的。這是各式吐槽中唯一一條我覺得值得討論的。不過那論文也不是他們的明星論文,我也就無所謂了。因為只要沒有放出sota模型的論文,我現在一律不信。

還有一大類問題是吐槽復制黏貼別人的程式碼,這個我就不提了,這屬於值得鼓勵的行為哈,請大家在版權允許範圍內加大復制黏貼的力度。

最後,OpenDriveLab是上海AI Lab的一個實驗室,吐槽的知友列舉的一些文章有些其實並不是OpenDriveLab的文章,OpenDriveLab是那個出BEVFormer和UniAD的實驗室,明星論文一般是這個實驗室的。上海AI Lab還有其他自動駕駛相關的課題,其實和OpenDriveLab關系不大,不可等同視之哈。