当前位置: 华文星空 > 汽车

上海AI lab什么来头,好厉害,挺高产?

2023-02-12汽车

看了之前那篇被删掉的吐槽文,我觉得吐的槽算是valid,但绝对上升不到学术不端的程度。我凭借记忆回忆一下那位知友吐的槽:

一大类问题是在github上提issue问用了多少GPU之类的细节(影响了batch size),repo作者答不上来直接关闭issue。这一类问题,大家经常做实验的可以扪心自问,是不是有些中了大奖的实验找不回详细参数的?当然作为优秀的研究机构,在模型管理上不严谨是值得诟病,但你要说这属于学术不端,未免太小题大做了吧?

类似的几个问题都集中在一个焦点:sota无法复现。甚至吐槽的知友还很明确的提出:我不关心你公开的模型是不是sota,我只关心你怎么训练出来的sota。我理解,作为学术界的研究者,要出论文要刷sota,搞一点incremental innovation,首先得复现sota,否则所谓刷sota是无从谈起的。但你不得不承认妄图复现一个训练中偶尔中的大奖几乎不可能,各种超参数不提,最大的影响因素是系统的随机性,所以比较好的论文会反复做实验提供每一个超参数点的variance。但现在这些BEV模型的训练如此昂贵,每一个超参数都训练10次并不现实。

UniAD,OccNet,都属于结构类似,思想类似,提供了公开模型佐证其有效性的,对于我,从业者而言,这就足够solid了,省掉几百个W是至少的。至于能否基于nuScenes复现整个训练过程,拜托,那是刷点的研究者们在乎的事情好吗?我为什么要在这么一个只能做PoC的弱鸡数据集上复现?

吐槽的知友花费无数时间和计算资源之后复现不出sota那种愤怒的心情完全可以理解,我的想法仍然是相反的,能够复现训练属于加分项,只要公开的模型能sota,这篇文章就不能属于学术不端了,除非他用了一些没公开的trick或者数据进行了额外的操作,比如在什么inhouse超大规模数据集上预训练之类的。

不过确实有一篇论文,没有放出sota的模型,只有代码,那么这篇论文是否学术不端确实是存疑的。这是各式吐槽中唯一一条我觉得值得讨论的。不过那论文也不是他们的明星论文,我也就无所谓了。因为只要没有放出sota模型的论文,我现在一律不信。

还有一大类问题是吐槽复制黏贴别人的代码,这个我就不提了,这属于值得鼓励的行为哈,请大家在版权允许范围内加大复制黏贴的力度。

最后,OpenDriveLab是上海AI Lab的一个实验室,吐槽的知友列举的一些文章有些其实并不是OpenDriveLab的文章,OpenDriveLab是那个出BEVFormer和UniAD的实验室,明星论文一般是这个实验室的。上海AI Lab还有其他自动驾驶相关的课题,其实和OpenDriveLab关系不大,不可等同视之哈。