特斯拉 AI 戰隊集結，首秀 Dojo 芯片，FSD將迎來巨變
美西時間 8 月 19 日下午 5 點，特斯拉 AI Day 開場。
在簡短地講了幾分鐘開場白後，Musk 開始向台下找人，「Andrej......」
很快，年輕的特斯拉 AI 部門高級總監 Andrej Karpathy 微笑上場，正式拉開了 AI Day 的大幕。
這天，還有多位特斯拉的 AI 業務高管輪番登場，除了 Andrej 之外，還包括：
1）Ashok Elluswamy，Autopilot 軟體總監；
2）Ganesh Venkataramanan，Autopilot 硬體高級總監，Porject Dojo 負責人；
3）Milan Kovac，Autopilot 工程總監。
這支 AI 戰隊對外集中展示了特斯拉在 Autopilot 感知演算法 、 規控演算法 、 仿真模擬 、 雲端訓練 、 自研芯片 、 超算平台 等多個領域的「寶藏」成果。
這次的特斯拉 AI Day 有三大核心主線：
1）自動駕駛 FSD 演算法和神經網路訓練進展；
2）超算系統 Dojo 以及特斯拉自研的訓練芯片 D1；
3）人形機器人 Tesla Bot。
繼 2019 年 Autonomy Day、2020 年 Battery Day 之後，特斯拉再次向我們展示了在汽車公司、自動駕駛軟體公司、電池公司和能源公司之外，特斯拉還是一家頂級的 AI 公司，甚至是全球最大的機器人公司。
在成為全球新能源車銷冠、全球市值 第一 的車企之後，Andrej Karpathy 等人帶領的這支 AI 戰隊，似乎向我們展示了特斯拉距離自己的邊界還很遠。
一面與 BBA 等豪華車企展開 PK，特斯拉還將與 Alphabet、NVIDIA 等頂級科技公司在人工智慧戰場展開同場競技。
1、感知與決策：讓汽車擁有自我
感知、規劃、決策、執行，特斯拉從 2013 年前後就想讓車去實作自動駕駛。
為實作自動駕駛，特斯拉的基本邏輯是，建立類似於人類的純視覺感知技術，建立接近於人類算力的計算平台（車載 FSD 芯片和雲端超算平台），用大量的數據訓練大腦，使得汽車越來越擅長駕駛——讓汽車具有自我（ego）。
實作自動駕駛的首要前提是感知和決策，這一部份從特斯拉 AI Day 的一開場便由 Andrej 娓娓道來。
每輛特斯拉都搭載了 8 顆 網路攝影機，它們采集的數據可以形成 3D 向量空間 （Vector Space），如果再加上時間戳，便是特斯拉所稱的 4D 自動駕駛系統 。
Andrej 形容利用深度學習進行感知辨識，就像多工模型「九頭蛇」，涉及到網路攝影機探測、跨網路攝影機融合等多個環節。
而借助多網路攝影機和神經網路，特斯拉可以透過演算法即時繪制地圖（SLAM）。
近年，特斯拉采用網路攝影機來進行物體檢測和深度估算的精度已經超過了網路攝影機+公釐波雷達的精度，因此 Autopilot 目前已經在量產車上移出了公釐波雷達。
感知之後的下一步，便是做好規劃控制。
另一位大神自動駕駛軟體總監 Ashok Elluswamy 登台。
Ashok 認為，規劃有兩大難題，分別是： 非凸面 （Non-Convex）和 高維 （High-Dimensional）。
簡單來說，車輛在路面駕駛時，它的行為和路徑不是唯一的最優解，而是有多個不同的解法，並且是高度動態的。
舉一個換道中的例子，通常來講路徑分為兩種，一種是嘗試提早並且緩慢換道，但是不太舒適；另一種是較晚並迅速換道，但是這又會存在錯失換道的風險。
最優的方案是在換道時保持舒適和安全的平衡。車輛在進行規劃時，既考慮到車輛自身，還要考慮到每個道路交通參與者。
接下來，特斯拉展示了一段堪稱精彩的視訊。
在一個狹窄街道上，沒有車道線，道路兩旁停著各種車輛，狹窄道路的對向突然駛出一輛白色轎車，從主視角的角度可以發現，特斯拉很明顯向右避讓了一下，這一舉動正像人類駕駛要為對向車讓路。
不過，白色轎車禮貌地靠邊停下，給特斯拉留出空間。特斯拉繼續向前行駛。
Ashok 為大家揭開了視訊背後特斯拉 FSD 是如何「思考」的。
最初遇到對向來車時，那輛白色轎車被預測為要繞過其他車輛繼續前進的可能性是大機率事件，停車則是小機率事件。
所以，特斯拉選擇了靠邊停車讓行。
不過，對向來車選擇了小機率事件的停車，特斯拉獲取並理解了這一行為，然後選擇繼續前行。
簡單做個小結：
純視覺感知系統負責輸入數據，形成 向量空間 （Vector Space）和 中間層特征 （Intermediate Features），然後統一輸出給神經網路，再進一步透過 軌跡分布模型 （Trajectory Distribution）輸出給 規劃控制系統 （Planing & Control），最終向車輛輸出轉向或加速指令。
2、特斯拉如何消化海量數據？
自動駕駛車輛上路，就會源源不斷地生成大量數據。
如何分析、處理這些數據，並對演算法進行訓練？
特斯拉恐怕是這個領域處理數據規模最大的公司。
特斯拉設立了 人工數據標註 、 自動數據標註 、 仿真 和 數據規模化 （Scaling data geeneration）四個團隊。
目前，特斯拉自建了一支 1000 人的人工數據標註團隊。
Andrej 披露，在 4 年前，特斯拉也是和業界大部份公司一樣采用外包的第三方標註團隊，但後來發現，這樣做「延遲」太高，因此轉向自建標註團隊。
隨著數據量劇增，特斯拉又引入自動標註，由於特斯拉采用的是多網路攝影機融合的感知，其自動標註工具可以在一次標註下，實作所有網路攝影機多視角、多幀畫面的同步標註。
Andrej 在今年的 6 月舉辦的 CVPR 2021 活動上披露，特斯拉已擁有 100 萬個大約為 10 秒視訊數據，並且標註了視訊中的 60 億 個物體的距離、加速度和速度資訊，這些數據量總計達 1.5PB 。
至於仿真，特斯拉的「仿真場景技術」可以模擬現實中不太常見的「邊緣場景」（比如一家人在高速公路上跑步的場景），並將此用於自動駕駛訓練。
在仿真場景中，特斯拉工程師可以提供不同的環境以及其他參數（障礙物、碰撞、舒適度等），極大提升訓練效率。目前特斯拉在仿真器內自建了超過 200 英裏的道路。
透過采集和仿真生產的龐大數據如何被用於高效訓練？
特斯拉的方案是 自研超級電腦 Dojo 。
3、自研 Dojo 芯片，拿下最高算力桂冠
早在幾年前，在 Musk 的授意下，特斯拉內部開始研發套用於 AI 訓練的高能效、高效能的超級電腦 Dojo。
到 2019 年 4 月，Musk 在特斯拉 Autonomy Day 上首次公布 Dojo 研發計劃，並在此後不斷為 Dojo 招募人才。
這屆特斯拉 AI Day 上排名首位的大殺器， 當屬 Dojo 。
據特斯拉 Autopilot 硬體高級總監、Dojo 計畫負責人 Ganesh Venkataramanan 介紹，Dojo 有三大研發目標：
1）實作最出色的 AI 訓練效果；
2）能夠容納更大型、更龐大的混合神經網路模型；
3）功耗和成本最佳化，做到價效比更高。
特斯拉認為，超級電腦的研發，提高算力是容易的，但是對頻寬進行擴充套件以及控制延遲是非常困難的。
基於此，特斯拉從芯片的層面開始設計。
從芯片開始自研發 Dojo 並不是一件簡單的事。
芯片產業鏈包括設計、制造和封測三大環節，如何解決能效和冷卻問題，每個領域均充滿挑戰。
D1 采用分布式架構，7 奈米工藝，每個 D1 芯片搭載 500 億個晶體管、354 個訓練節點，單芯片 BF16 精度下算力高達 362 TFLOPs ，功耗卻只有 400W ，兼具 GPU 級別的訓練能力和 CPU 級別的可控性。
在封測環節，Dojo 芯片采用的是 InFO_SoW 技術 ，初代 WSE 芯片和和台積電 WLSI 平台，均由 InFO_SoW 封裝而成。
InFo_SoW，又稱「 晶圓上系統 」技術，是將所有的芯片在同一個晶圓上進行設計，將整個晶圓做成一個超大芯片。
這樣做的好處是，可以實作通訊低延遲、高頻寬。
簡單來說，由於芯片與芯片之間的物理距離極短，而且通訊結構可以直接在晶圓上布置，使得所有內核都能使用統一的 2D 網狀結構 互連，實作了芯片間通訊的 超低延遲 和 高頻寬 ；以及由於結構優勢實作了較低的 PDN 阻抗 ，實作了能效的提升。
此外，由於是陣列多個小芯片組成，還可以透過冗余設計來避免"良品率"問題，實作芯片處理的靈活性。
最終，一款可以用於 AI 訓練的高算力芯片 D1 亮相。
基於 D1 芯片，特斯拉又將自研芯片整合為訓練模組，分為七層結構：
· 第一層和第五層銅質結構是水冷散熱模組；
· 第二層結構由 5*5 陣列共 25 個芯片組成；
· 第三層為 25 個陣列核心的 BGA 封裝基板；
· 第四層和第七層是物理承載結構，附帶一些導熱內容；
· 第六層是功率模組，以及上面豎著的黑色長條，穿過散熱與芯片進行高速通訊的互聯模組。
特斯拉將 25 個 D1 芯片組成一個「 訓練模組 」，大約 60 個訓練模組，也就是 1500 個 D1 芯片共 53 萬余 訓練節點，就組成了 Dojo 超級電腦。
理論上，Dojo 的效能拓展沒有上限，可以無限擴張。
實際套用中，特斯拉將 120 個訓練模組組裝成了 ExaPOD 超級電腦 ，ExaPOD 含有 3000 個 D1 芯片超 100 萬個訓練節點，算力可以達到 1.1 EFLOP
1.1 EFLOP 這個成績，將 Dojo 直接送讓了 史上最快 AI 訓練電腦的王座。
接下來，下一代的 Dojo 芯片還將提升 10 倍 效能。
如果說 FSD 芯片解決車端的問題，那麽 Dojo 要解決的便是雲端的問題。
Musk 透露，Dojo 會在明年投入使用。
隨著 D1 芯片的登場，Dojo 將在 AI 訓練的道路上快步急行，特斯拉的 FSD 自動駕駛軟體能力也將大幅提升。
4、機器人？特斯拉的未來
D1 芯片不會止步於 Dojo，未來特斯拉還可能會基於 D1 進軍機器人賽道。
在 AI Day 上，Musk 第一次公開了：特斯拉要做 人形機器人 Tesla Bot ，這款機器人高 1.72 米，重 56.6 千克，將搭載特斯拉的各項先進技術，比如 Autopilot 網路攝影機、FSD 和 Dojo 人工智慧演算法等，並且可以和特斯拉汽車聯動。
按照計劃，特斯拉或將在明年推出第一個機器人原型機。
如今，特斯拉的邊界正在不斷延展。
它首先肯定是一家車企，今年第二季度特斯拉共交付整車 201304 輛 ，創下歷史季度新高。
特斯拉預計其 2021 年汽車交付量將同比增長超過 50%，也就是在去年 49.95 萬輛的基礎上增長到約 75 萬輛。這個銷量仍高居全球新能源汽車銷量榜首。
從 2013 年開始研發自動駕駛起，特斯拉就打上了科技公司的烙印。
可以預見特斯拉的下一階段，大機率將是一場高效利用數據、超級電腦和深度學習等多個要素的天才遊戲。
暫且不提是否可以商業化的機器人，這場遊戲的首要戰果就是早一天實作全自動駕駛。
一方面作為車企的特斯拉越來越科技化，科技公司也在邁入造車行列，比如在中國的百度。
就在特斯拉 AI Day 兩天前，百度在其世界大會上也釋出了自研芯片，同樣基於 7nm 工藝量產的昆侖 2。
昆侖 2 的峰值算力是 256 Tops ，據說有可能在 2023 年量產的集度汽車上使用。
今年特斯拉 AI Day 沒有馬上可以兌現的技術，Dojo 明年投用，Tesla Bot 沒有明確的量產時間。
有意思的是，特斯拉 FSD 最早在 2019 年量產釋出，但在 AI Day 當天，完全沒有提 FSD 二代芯片。
按正常的節奏，我們猜測明年特斯拉應該要釋出 下一代 FSD 芯片 了。
隨著 Dojo 的出現，讓特斯拉 FSD 會發生量變到質變的飛越，FSD 二代芯片又會發生何種變化，也非常令人期待。
