用多久本身没有意义 你的思路从根上就错了
我记得超级计算机界大佬David Keyes跟我说过 研究有两类 一类是把本来无法解决的问题解决了 另一类是把已经解决的问题解得更快更好 只有第一类是真正地significant
「不知道怎么改网络结构」 「想不到一些能够提升网络性能的idea」 说明你没有做第一类研究 就算你把accuracy或者别的性能提升1-5% 也只是把本来就能识别图像的模型变得更能识别图像
做研究之前 先假设你就算真的做出来了 又有什么意义 这样才能明白什么是核心问题
举个例子 normalization layer出来之前 人们无法训练很深的网络 train loss都降不下去 更别提test loss了 这个工作解决了一个重要的问题 我们有了真•深度学习
再举个例子 在何凯明大神的ResNet出现之前 尽管深层网络能学的动了 但是degradation问题出现了：深层的网络可能会比浅层的generalization更差 这个工作让我们叠加层数可以提升性能 可以得到有效的深度学习
具体来说 你先得了解深度学习这个 系统：网络结构（forward）导数传播（backward）优化器 优化问题 特征工程等等
每一个模块都有很多关键问题 比如adversarial robustness属于优化问题 用minimax问题去学（就是adversarial training）就能学到稳健的网络 不用就非常脆弱；再比如differential privacy属于优化器和backward问题 用privateSGD就能保护隐私 不用就不能
你能不能找出一个问题 现有的方法不行 而你的方法能解决？只要找到一个问题 不一定需要改网络结构也不用追求很好的性能 因为已有的方法性能是0% 你只要解决了 性能再差也比0%强 （比如隐私领域 至今CIFAR10准确率没过70% 不妨碍开坑文爆红）
Novelty is all you need
