当前位置: 华文星空 > 财经

数学本科生的选择?

2017-04-16财经

机器学习肯定最火。

不过一般应用数学的老师做机器学习时的认知都有问题。他们受过去的经验所困,老在想这门玄学有没有什么可解释的道理,想复杂了。

其中统计老师的认知偏差最大,说什么都千万别信。

最优化的偏差相对小一点,但他们会低估ml的性能。对他们来说,非凸优化完全没有convergence保证,然而在现实中sgd+overparametrization基本够从local minimum里跑出来了。所以优化老师说ml不行,很多时候行。

计算数学(数值pde)跟ml关系不大。有两种结合的道路。一种是用AI做数值,物理引擎之类的。对此我完全不懂。另一条路是用数值的理论来分析neural network。不过这是一条邪路。高维的pde基本上都会遇到curse of dimension,然而neural network不怕这个问题,是因为它的数据虽然是高维的,但其包含的信息量可能比较低维。(其实learning theory基本都是邪路。大家的水平比托勒密还要差一点,远不及哥白尼,遑论伽利略牛顿。)这方面我个人听说过的唯一好的文章是鄂维南院士论证为什么residual network的skip connection参数只能是1。

图形学转ai不了解,没接触过。

总之做的时候注意一点,别被教授忽悠上邪路了。记住,机器学习里所有的公式都是错的,跟中医理论差不多,听个乐就好了。

之前的话说的有问题。数值pde在machine learning中一个很重要的应用是做图片生成,diffusion model。

自从这篇文章出现之后,diffusion model就被抽象成了一个stochastic diff eq问题。所以数值pde的方法都可以用来加速。具体我也不懂。

几何之前比较重要的结果是顾险峰老师用optimal transport来解释GAN。但自从GAN被diffusion替代后,几何又变得没用了

鄂维南老师这篇写得比我好一万倍,值得细看