當前，中國自動駕駛滲透率和商業化步伐正在加速，感知系統作為實作高階自動駕駛關鍵技術之一，吸引行業廣泛關註，成為衡量自動駕駛企業技術競爭力的核心戰場。
作為無人駕駛商業化領先企業，仙途智能深耕自動駕駛領域，憑借其全棧自研的無人駕駛技術棧和在乘用車、商用車以及垂直場景的深厚積累與場景拓展，在感知方面形成了完整、成熟的技術體系，自主研發了業內領先的兼具多工、多模態、跨時序等特點的BEV多工感知模組以及支撐BEV快速叠代的數據閉環系統。
垂直場景下仙途智能BEV感知技術突破
在傳統的無人感知技術棧中，2D影像輸入到感知模組以生成 2D感知結果，然後利用傳感器融合技術對來自多個相機的2D結果、激光雷達的結果進行推理後傳給下遊。在這個過程中需要大量手工制定的規則，同時面臨著遮擋、觀測不全、資訊損失等問題。為了克服以上問題，BEV技術將多傳感器特征統一在同一個3D空間內，減少資訊損失，以一種更簡潔高效的、端到端的方式直接在3D空間內進行感知。基於BEV技術，仙途智能構建了一個面向環衛場景特色和作業需求的BEV多工感知系統，具有以下特點：
圖1：BEV多工處理
多工處理，應對復雜場景下感知挑戰： 為滿足復雜多變的環衛作業需求，仙途感知模組不僅支持傳統交通場景中的常見檢測任務（如車輛、行人、交通標誌等），還針對環衛場景新增低矮障礙物檢測、路沿檢測、垃圾檢測、揚塵水霧辨識過濾、可碰撞檢測等任務。同時，相比於每個任務單獨1個小模型的方案，BEV多工感知模組使用共享骨幹網絡的網絡結構，計算負擔降低30%以上，確保了自動駕駛車輛的即時環境感知能力。
多模態融合，提供精準、即時的感知支持： BEV感知推理以環視影像、多激光雷達點雲作為輸入，具備跨多模態、跨多傳感器的資訊聚合能力，能夠補齊單模態感知的短板。仙途智能BEV感知精度相較於純視覺演算法提升32.6%以上，單激光點雲感知演算法提升18.9%以上。同時具備可拓展性，能進一步接入更多傳感器數據。
跨時序感知，實作精準目標速度預測： BEV感知具備多幀點雲輸入和多幀特征聚合的跨時序感知能力，能夠在長時間範圍內補全當前幀中的資訊缺失，提升感知精度，並具備更精確的目標運動速度預測能力。
可以透過以下場景例項，深入了解仙途智能的BEV多工感知技術是如何高效解決復雜交通場景中的挑戰以及處理長尾問題。
場景例項：BEV多工感知模組在復雜場景下的套用實踐
場景1：提升低矮障礙物檢測精度，確保自動駕駛車輛高效作業
低矮障礙物是無人環衛極具挑戰的場景之一：1.相比常見的車輛、行人等交通參與者，低矮障礙物呈現出種類繁多、數量稀少的長尾分布特點，如水管、石塊、倒地的鐵鏟、坑洞、保溫杯等；2.由於部份低矮障礙物形狀大小各異，激光雷達往往無法穩定掃描到；3.對於無人駕駛車輛而言，必須精準判斷哪些障礙物需要繞行以避免碰撞，哪些又可以安全地進行清掃作業；4.即便是相同類別的障礙物，其大小、狀態及內容物的不同也會顯著影響決策結果，例如，細小的枝條可以直接清掃而不必繞行；然而，粗壯的大枝條則可能因堵塞清掃器材的吸口而需要車輛采取繞行策略。
針對上述挑戰，仙途智能設計了一套以視覺為主、激光為輔的、結合2D+3D的多傳感器檢測方案，同時透過引入對障礙物的內容預測+occupancy預測，並結合垃圾檢測技術，能夠準確預估障礙物的尺寸、高度等關鍵參數，從而有效輔助決策系統判斷是否需要繞行或進行清潔作業。
圖2：玫紅色色塊為低矮障礙物辨識結果：黑色細水管
圖3：玫紅色色塊為低矮障礙物辨識結果：黑色垃圾袋
圖4：玫紅色色塊為低矮障礙物辨識結果：
黑色垃圾堆與展開的塑膠布袋
圖5：玫紅色色塊為低矮障礙物辨識結果：
不可以清掃的白色垃圾堆
上述4張圖片分別顯示了自動駕駛車輛在遇到低矮障礙物的情形，從圖2到圖5，其作業場景地面上分別有黑色細水管、黑色袋子、黑色垃圾堆與展開的塑膠布、不可清掃的白色垃圾堆。
可以看到，當自動駕駛車輛行駛在上述四個場景中，仙途智能BEV感知模組輸出的occ占據柵格有不同的顏色色塊，低矮障礙物辨識的位置精度和朝向都非常準確，為自動駕駛車輛在復雜的路面環境下安全作業、順暢地行駛提供了強有力的保障。
場景2：復雜路況的3D目標檢測，提供更全面的環境感知
在復雜道路狀況下，感知系統面臨挑戰諸多：交通擁堵中人車混行，目標密集與遮擋、不規則路面的感知與適應、動態變化的環境與突發情況等。
圖6：仙途智能BEV感知在繁忙路口的3D檢測綜合能力對狹窄道路上眾多擦肩而過的交通參與者穩定檢出及動態預測
如圖6，在繁忙的交通路口中，車輛來自各個方向，包括同向行駛的車輛、反向行駛的車輛、準備轉彎的車輛，以及大量占用車道或人行橫道的行人、單車等，仙途智能BEV感知系統在這樣環境下檢測出車輛周圍的障礙物、行人、單車的位置、速度、方向和尺寸等資訊，為自動駕駛車輛在行駛作業中提供了周圍環境全方位、360度精準感知。
場景3：BEV路沿檢測，位置與形狀的高精度辨識與追蹤
在環衛作業場景中，無人駕駛車輛需要實作貼邊清掃，這就要求車輛能夠準確辨識並追蹤路沿的精確位置和形狀，以確保清掃作業的準確性和安全性。但現實道路環境復雜多變，路沿的不同形態（直線、曲線、折線），以及路沿上覆蓋的不同物體（植被、低矮），都對路沿辨識的準確度和魯棒性形成了挑戰。
為此，仙途智能在BEV網絡中引入BEV路沿檢測任務，將路沿劃分成不同網格，利用深度學習網絡提取影像與激光雷達對應的特征，擬合出各個網絡內部的路沿，再結合幾何特征與地圖先驗進行拼接，以實作對不同形狀路沿準確辨識；同時，路沿檢測任務引入時序資訊，結合多幀結果進行濾波，進一步提升了結果的穩定性。
圖7： BEV路沿檢測，精確檢測路沿彎度與位置（紅色曲線為路沿檢測結果）
如圖7顯示，仙途智能BEV感知系統精確顯示了彎道中路沿的彎曲程度，使車輛根據路沿資訊選擇合適的速度，確保高貼邊率。
場景4：3D語意分割，有效辨識環境中的水霧、灰塵
由於環衛場景的特性，無人駕駛車在灑水作業或行駛時揚起的水霧和灰塵，經激光雷達檢測容易形成障礙物，影響正常通行。為此，仙途智能BEV感知系統透過結合影像、激光雷達預測每個激光點的語意資訊，實作對自車揚塵、水霧和他車濺水的辨識和過濾。
圖8：水霧處理前
圖9：水霧處理後
如圖8無人駕駛車輛灑水作業場景中，車輛周圍被密集的水霧所籠罩，單從點雲模態來看會誤檢成障礙物。BEV感知系統透過多模態的點雲語意分割技術，精確辨識並剔除這些由水霧產生的噪點有效降低了惡劣天氣和灑水作業對自動駕駛車輛感知精度的影響（圖9）。
仙途智能構建高效數據閉環，加速研發叠代，實作降本增效
圖10：數據閉環方案
數據閉環已經成為自動駕駛解決長尾問題的核心策略與關鍵路徑，如何對數據進行大規模高效處理並快速最佳化演算法模型，成為自動駕駛技術叠代的關鍵。仙途智能的無人駕駛車輛已在全球累計行駛超過1300萬公裏，基於這些海量數據，透過構建高效的資料探勘-標註-仿真-模型叠代的數據閉環（圖10），實作自動駕駛技術的快速叠代和降本增效。
資料探勘，豐富長尾數據庫
圖11：特定場景資料探勘
如圖11展示了仙途智能透過大模型進行長尾場景資料探勘的範例。仙途智能構建了基於文字到影像的多模態模型，當需要獲取特定類別的場景數據，只需透過自然語言文字描述，比如「非站立行人」，即可從海量歷史數據中自動挖掘符合條件的場景數據，提高了挖掘長尾場景的效率，基於挖掘出的場景數據則會進入自動/半自動標註處理，用於模型訓練。
數據自動標註，實作成本節約與效率提升
圖12： 3DBox自動標註：藍色黃色box為自自動標註的車、人，其中箭頭標註了其朝向
針對海量未標註的數據，仙途智能一方面透過半監督、數據增強等方式提高未標註數據的利用率（相關工作發表於CVPR2022、ECCV2022和ICRA2024）；另一方面研發基於BEV多模態的自動標註系統，成倍提升了標註效率，大大縮短了模型叠代周期，顯著降低標註成本。
2D數據仿真+3D數據仿真，提升BEV感知模型泛化能力
在數據仿真層面，仙途智能透過2D和3D數據仿真相結合，模擬出高保真的長尾場景，豐富了自動駕駛演算法的訓練數據，為自動駕駛感知演算法模型提供更全面的訓練和測試環境。
圖13:2D數據仿真例項
如圖13展示了2D數據仿真的例項。針對在實際營運中遇到的長尾場景（如圖13左），仙途智能透過大模型或者人工對該類場景進行部份語意標註（如圖13中），再由Diffusion Model生成高保真的影像，其中水管、桶、交通錐等經過標註的障礙物與原圖具有較高的語意一致性，背景等未經過標註的障礙物也接近真實場景（如圖13右）。透過這種多場景的生成與訓練，仙途智能的自動駕駛車輛能夠更好地適應各種復雜和不可預測的道路環境，從而提高整體的安全性和可靠性。
在3D數據仿真技術的套用實踐中，仙途智能透過3D Gaussian Splatting技術對長尾場景進行重建，從而生成Corner Case高保真的新視角檢視，顯著豐富了長尾場景庫，更好支持感知模型的訓練和新場景測試。
圖14： 車輛正常經過的場景
圖15：場景建模後，生成的新視角數據
如圖14呈現了車輛在正常行駛途中記錄的場景，圖中左側懸空的細長警戒線屬於駕駛過程中較為罕見的元素，對自動駕駛感知系統構成了極大挑戰。仙途智能采用3D仿真技術生成了包含警戒線等這些障礙物在內的高保真的全新視角檢視（見圖15），尤其是懸空警戒線出現在前進道路這一關鍵視角，從而支持了「前進道路上出現懸空警戒線」這一新場景的測試，有效提升自動駕駛系統面對復雜環境時的泛化能力與魯棒性。
以上，系統展示了仙途智能在自動感知系統領域所取得的技術革新與套用例項。未來，仙途智能將繼續堅持「軟硬結合」的技術路徑，積極探索感知技術套用場景，分享最新研究成果，聚焦自動駕駛商業化落地，推動自動駕駛技術革新。
