當前位置: 華文星空 > 財經

數學本科生的選擇?

2017-04-16財經

機器學習肯定最火。

不過一般套用數學的老師做機器學習時的認知都有問題。他們受過去的經驗所困,老在想這門玄學有沒有什麽可解釋的道理,想復雜了。

其中統計老師的認知偏差最大,說什麽都千萬別信。

最佳化的偏差相對小一點,但他們會低估ml的效能。對他們來說,非凸最佳化完全沒有convergence保證,然而在現實中sgd+overparametrization基本夠從local minimum裏跑出來了。所以最佳化老師說ml不行,很多時候行。

計算數學(數值pde)跟ml關系不大。有兩種結合的道路。一種是用AI做數值,物理引擎之類的。對此我完全不懂。另一條路是用數值的理論來分析neural network。不過這是一條邪路。高維的pde基本上都會遇到curse of dimension,然而neural network不怕這個問題,是因為它的數據雖然是高維的,但其包含的資訊量可能比較低維。(其實learning theory基本都是邪路。大家的水平比托勒密還要差一點,遠不及哥白尼,遑論伽利略牛頓。)這方面我個人聽說過的唯一好的文章是鄂維南院士論證為什麽residual network的skip connection參數只能是1。

圖形學轉ai不了解,沒接觸過。

總之做的時候註意一點,別被教授忽悠上邪路了。記住,機器學習裏所有的公式都是錯的,跟中醫理論差不多,聽個樂就好了。

之前的話說的有問題。數值pde在machine learning中一個很重要的套用是做圖片生成,diffusion model。

自從這篇文章出現之後,diffusion model就被抽象成了一個stochastic diff eq問題。所以數值pde的方法都可以用來加速。具體我也不懂。

幾何之前比較重要的結果是顧險峰老師用optimal transport來解釋GAN。但自從GAN被diffusion替代後,幾何又變得沒用了

鄂維南老師這篇寫得比我好一萬倍,值得細看