拋磚引玉,嘗試回答了其中部份問題,有補充之後繼續更新,有錯誤還請指正。
(一)需求和套用
1. 端到端對於激光雷達的需求會發生什麽變化?激光雷達需要做好哪些方面,可以更好賦能端到端開發?
從目前了解到技術方案來看,端到端對於激光雷達的需求暫時沒有明顯的變化。
可能有2個相關的點:
1)由於端到端的開發,會更重的依賴於閉環仿真環境,激光雷達的點雲數據需要仿真生成,可能會對激光雷達點雲的仿真提出更高的要求。
2)不同類別、不同廠家激光雷達的點雲Pattern會不同,Pattern的不同會影響端到端模型的訓練。因此采用端到端技術時,如果需要更換不同Pattern激光雷達,意味著數據需要重新采集、模型需要重新訓練,因此切換難度將更大,因此激光雷達供應商和自動駕駛方案商的繫結關系可能會強。
2. 激光雷達在高階智駕下的套用場景及價值,在前融合,後融合中的套用是怎樣的?
激光雷達主要作用是檢測車輛、行人,以及更重要的通用障礙物、路邊邊緣,有些場景還可以輔助檢測車道線。
激光雷達可以套用的主要功能如下:
![](https://img.jasve.com/2024-8/75223b4c82fc2b0993a51220442a861f.webp)
其中,補盲激光雷達主要負責的是近車身的感知空間的覆蓋,為自動駕駛車輛提供更為精準的車身周圍障礙物和空間感知能力。可以實作:
![](https://img.jasve.com/2024-8/1b4f7651aef18001d69d4c35976e8291.webp)
前融合,後融合中的套用:
1)前融合是將點雲直接和視覺影像、毫米波雷達點雲做RAW級別的融合,開發難度較高,目前有華為、小鵬等少量頭部玩家在使用。
2)後融合是在域控制器基於激光雷達點雲進行目標辨識,包括交通參與者、通用障礙物、路邊緣等辨識。是目前大部份玩家所采用的方案。
隨著端到端技術和大模型的推進,目前融合趨勢是逐漸走向前融合。
3. 激光雷達有哪些方面是無可取代的?
激光雷達、毫米波雷達、網絡攝影機等傳感器各有特點,各有優劣勢。其中,
激光雷達在角分辨率、點雲密度方面遠高於毫米波雷達,在測距精度、黑暗天氣適應力等方面強於網絡攝影機。
激光雷達、毫米波雷達、網絡攝影機所使用的波長不同,示意圖如下(超聲波使用的是機械波,和上述幾種傳感器差異較大):
![](https://img.jasve.com/2024-8/07be2b37a97cfc2338900fc06e403311.webp)
每種傳感器檢測原理不同,因此有不同的感知特點,有各自的優勢場景:
![](https://img.jasve.com/2024-8/0edf759a54acdb5facb60a9a218d05e2.webp)
對於要求不高的自動駕駛系統中,單一傳感器可以實作感知需求(例如純視覺)。自動駕駛等級越高,對於感知的要求也越高,要求配置的傳感器數量和種類也越多。對於L3及以上等級的自動駕駛系統,由於功能安全的冗余要求,必然需要2種及以上異構感知單元,以避免同源失效。
從目前來看,城市NOA以及L3及以上場景,激光雷達是不可或缺的。
![](https://img.jasve.com/2024-8/2039d136f07aba15c452a813df39c4e5.webp)
詳見:【雪嶺 · 自動駕駛(2/10):感知系統】
4. 主機廠對激光雷達原始數據的需求未來會有哪些變化?這些變化的驅動力是什麽?(例如把一些數據處理放在域控)。
目前激光雷達的原始數據還主要是點雲數據,對於點雲數據本身基本需求還是:低誤報,低漏報。測距300米,角分辨率0.05°,已經可以滿足基本的L3能力需求。
激光雷達演算法一般分為「訊號處理」和「數據處理」,其中「訊號處理」是指將ADC數據轉化為點雲數據,「數據處理」是將點雲處理成目標。目前「訊號處理」一般都是在Lidar中進行,「數據處理」是在域控中進行。
5. 激光雷達點雲處理演算法會布置在域控嗎?有什麽優勢?如果布置在域控,對於通訊、域控有哪些新的需求?
如果題目中「點雲處理演算法」是指的「訊號處理」,個人認為短時間內不會放在域控。原因是:
1)「訊號處理」一般需要針對Lidar訊號的特殊的硬件計算單元,域控中目前一般並不會預留針對Lidar「訊號處理」的計算模組,因此,計算效率未必比放在Lidar中更高;
2)高線束的激光雷達點頻密度已超過1200萬點/秒,傳輸點雲訊號對於千兆乙太網路已經有相當大的挑戰,如果更換為傳輸更為前端的ADC訊號,目前通訊頻寬無法支持;
3)域控的融合模型中,目前僅支持到點雲級別,對於ADC級別的融合,目前並未看到有相關研究,技術層面並不支持;
不過也有些廠家在前端做和其他傳感器之間的「前前融合」,例如大疆的激目系統。
2024年3月,大疆車載釋出「激目系統」,該產品整合了大疆三目、慣導和激光雷達。
![](https://img.jasve.com/2024-8/38e2e377b12fb58541805d74cdebc70c.webp)
根據大疆的介紹,該系統的主要特點是:
![](https://img.jasve.com/2024-8/a9b9da97151e48c4ee7507d99997a21f.webp)
6. 整車有哪些功能,在有激光雷達的情況下能做的更好?其原因是什麽?(比如AEB,純視覺對於特定物件辨識能力短時間內無法快速提升,透過激光雷達點雲可以快速增加辨識率?其他功能,例如CDC等,是否也有類似情況?)
由於激光雷達在角分辨率、點雲密度、測距精度、黑暗天氣適應力等方面的優勢,在下面功能可以提升效能。
等等。
7. 從域控激光雷達處理演算法的角度,最關心激光雷達的哪些參數?
1)基本檢測效能:例如測距範圍和精度、FOV、角分辨率、盲區、點頻、幀頻、Pattern等;
2)誤報率、天氣適應力、抗幹擾等等,
詳見:【雪嶺 · 激光雷達常見點雲異常場景分析】
;
3)其他還有包括時間同步精度、丟幀率、通訊協定等等。
8. 主機廠應該如何做激光雷達的選型,有什麽需要重點關註的地方?
和其他電控零部件類似,主機廠主要關註3個方面:
1)效能高:見上一個問題中提到的激光雷達效能。另外還有尺寸、安裝方式、物理介面、工作電壓、功耗、功能安全、耐久壽命、工作儲存溫度、防護等級、重量。
2)價格低。
3)質素保證和供貨能力強:車規認證、完善的質素管理體系(16949)、足夠產能的產線、PPM等。
當然,還有一些潛在的關註點,例如:量產經驗、產品出貨量(成熟度)、團隊規模和資質、資金儲備、現金流狀況、企業經營狀況、合作歷史等等。
當然,還可能有:公司之間的關系,老板之間的關系。。。
(二)芯片
1. 頭部Lidar公司都在自研雷達專用芯片,自研芯片的未來發展趨勢是怎麽樣的?
自研的芯片比較多,只介紹一下重點芯片。
1)
發射芯片
激光雷達發射器的發展路徑如下圖所示:
![](https://img.jasve.com/2024-8/9b244308831df46daf92a3523dd4b46d.webp)
多層VCSEL激光器的發光功率密度得到了大幅提升,憑借在成本及效能方面的優勢,
VCSEL正逐步取代EEL
。
![](https://img.jasve.com/2024-8/a6604cc8c22819fbd235ba877e8278cf.webp)
EEL和VCSEL的指標對比:
![](https://img.jasve.com/2024-8/1ceb8bf4a504aeffc79e3d0ab579b239.webp)
而VCSEL根據排布方式的不同,又分為單點VCSEL(點光源),線陣列VCSEL(線光源)以及面陣列VCSEL(面光源),可以大幅減少VCSEL器件數量,降低成本,減少走線,降低系統復雜度,提升良率。不過,VCSEL整合度越高,散熱挑戰也越大。
如下是單點VCSEL和線陣列VCSEL的對比:
![](https://img.jasve.com/2024-8/37e35c3d1f4abcd9541884e5bcdbab47.webp)
由於半固態激光雷達有機械掃描機構,因此VCSEL線光源就可以滿足發光需求,是目前半固態雷達的主流光源方案。
而Flash純固態激光雷達沒有機械掃描機構,需要更多的光源數量以覆蓋足夠的FOV,因此大多采用VCSEL面陣列。
2)
接收芯片
激光雷達接收器的發展路徑如下圖所示:
![](https://img.jasve.com/2024-8/5d08943db3431f03cb0dcadfcd680ff7.webp)
在905nm路線下,SPAD/ SiPM替代 APD 已成大勢。
SPAD芯片可以整合TDC、TIA、AMP、ADC等大量後端電路,能夠降低對SoC和FPGA的算力需求。
SPAD的研發門檻很高,目前市面上真正能夠做到車規級的SPAD傳感器,只有安森美的Padion SPAD和索尼的IMX459等少量產品。而在中國自主品牌阜時科技、靈明光子、芯輝科技、宇稱電子等也在布局研發車規SPAD。
其中,索尼IMX459是目前激光雷達套用最廣泛的SPAD SoC,該芯片在2021年釋出,其分辨率為597×168,SPAD間距10μm,PDE達到24%。
索尼SPAD采用背照式像素結構、堆疊結構和Cu-Cu連線等技術。
![](https://img.jasve.com/2024-8/e02213f2cdfeef73578acd44648d1290.webp)
索尼的下一代SPAD是IMX479,探測效率(PDE)高達50%,據說已經在華為和禾賽內測,並且有了Demo樣機。
未來,SPAD芯片有可能整合度越來越高:
![](https://img.jasve.com/2024-8/71ee6d3976c5f3e255c728d9f53dea52.webp)
3)
處理器
![](https://img.jasve.com/2024-8/342de24383c5ab176f4dd813a2b69d2f.webp)
![](https://img.jasve.com/2024-8/0437cf265b9c254569f01efc8bdc53a2.webp)
2. 發射芯片已經有國產量產的,接收芯片目前國產替代的進度怎麽樣?
接收芯片目前國產進度比較快的是 靈明光子、阜時科技等 。
其中,靈明光子的SiPM產品已經供貨給國內幾家頭部的Lidar公司,出貨量已經達到KK級以上。
對於車載SPAD面陣產品,國內廠商已經有產品在跟客戶深入合作,在24Q4~25Q1會有更多的國產產品推出,可能2025年會是國產SPAD大面陣芯片上車的元年。
3. 某些SPAD芯片在進行對射實驗時會燒壞,可能的原因及解決方法有哪些?
【待補充】
3. 自研SPAD芯片的主要挑戰有哪些?PDE、DCR等參數如何測試?
SPAD芯片的主要挑戰:
【待補充】
SPAD參數測試方法:
PDE、DCR的測試方法參考:【How to measure – Characterization of SPAD-based detectors】,OSRAM Georg Roehrer,June 3, 2024,SPAD Sensor School, ISSW 2024, Trento, Italy
![](https://img.jasve.com/2024-8/2058d76f3b7cae985c5b22284bff5a1b.webp)
![](https://img.jasve.com/2024-8/902afbdc5a9c9a3ccbdf291ed0da65cb.webp)
該文章原文請聯系maxhnnl。
4. IMX459的距離分辨率較低,有什麽方法可以提升距離分辨率?
激光雷達指標中,對於「距離分辨率」提到的較少,「距離精度」提到的較多。
距離分辨率是指能夠將相同角度、相同速度兩個目標區分出來的最小距離。
采用SPAD方案的Lidar一般采用電平采樣累和的方式(SST,Synchronous Summation Technique)進行測距,這種方式對SPAD的deadtime較為敏感,deadtime越小,分辨力就越高。目前IMX459的deadtime是6ns(論文中),實際使用時,為了避免較為嚴重的jitter,一般deadtime是10ns左右。此時,理論上距離分辨率大於10ns*光速/2=1.5m。
提升距離分辨率的方法可以考慮減小SPAD的deadtime,以及透過echo估計演算法。
(三)光學、結構
1. 轉鏡的光學設計相關原理是怎樣的?
AT128是比較典型的轉鏡方案。原理如下:
![](https://img.jasve.com/2024-8/fd9a89d40004ddb5d1bc73df855eb53a.webp)
![](https://img.jasve.com/2024-8/cc3dea1161d6c133dffcd2a215b72246.webp)
AT128采用一維轉鏡方案,在水平方向上使用轉鏡掃描,垂直方向上使用128個激光器做電子掃描。
![](https://img.jasve.com/2024-8/2e91f349e575d0344f651f781cfc3df6.webp)
AT128一共有128個VCSEL激光器,每個激光器依次點亮,單個通道的點亮時間約十幾納秒。
![](https://img.jasve.com/2024-8/7f9c5165dda2a984ec3eb82266c34f2d.webp)
VCSEL細節:
![](https://img.jasve.com/2024-8/29ee95b5a31f6c80366a4f17fcc3436d.webp)
AT128采用SiPM(矽基光電倍增管),如下圖中的粉紅色區域。SiPM分為16個探測模組,在水平方向上錯開,錯開的原因是為了補償水平方向上的角度差。
![](https://img.jasve.com/2024-8/6cd925fbc8e2a1e30e9193eabe5db0df.webp)
SiPM細節圖:
![](https://img.jasve.com/2024-8/ace3fbf188285c434996e5be9ed94ecf.webp)
禾賽自研了模擬前端芯片,一共8片,將SiPM的訊號進行讀取、解析和放大。
![](https://picx.zhimg.com/50/v2-3587a62b059b38471af2ae864d5824f0_720w.jpg?source=2c26e567)
![](https://pic1.zhimg.com/50/v2-e3667fe24b6162e63f363058bf79a742_720w.jpg?source=2c26e567)
![](https://pic1.zhimg.com/50/v2-e224d6fbf36c74256b561ca1b58b6209_720w.jpg?source=2c26e567)
訊號處理模組和雷達背板之間是通訊模組:
![](https://pic1.zhimg.com/50/v2-3b65f62fabe3e7f252d42aac781556b9_720w.jpg?source=2c26e567)
![](https://picx.zhimg.com/50/v2-7e2f15cfbfe6df30c8de4843de6c5478_720w.jpg?source=2c26e567)
![](https://picx.zhimg.com/50/v2-32014b12161e4a37e14c1d3a7e1531d1_720w.jpg?source=2c26e567)
![](https://pic1.zhimg.com/50/v2-dc57bb87d6b4504e0f39fcf254ba9314_720w.jpg?source=2c26e567)
2. 同軸光路的收發端鏡頭的光學設計方案是怎樣的?
【來自Jessica老師】
同軸光路的收發端鏡頭設計通常涉及發射端和接收端,同軸光路需要同時在同一軸線上完成發射和接收。
![](https://picx.zhimg.com/50/v2-4c67c28f61299ad207bb77ff35a23151_720w.jpg?source=2c26e567)
如下以同軸光路(或部份同軸光路)激光雷達為例:
發射端光學設計
1)擴束鏡:激光源發出的光通常需要經過擴束鏡來擴大光束直徑,以減小發散角並提高照射距離。
聚焦透鏡:為精確控制發射光束的焦點位置,需要一個或多個聚焦透鏡。這些透鏡可以是單個透鏡或復合透鏡組。
2)分束器(分光鏡):在同軸光路中,通常會使用分束器(如部份反射部份穿透的鏡鏡片或偏振分束器)來分隔發射和接收路徑。發射光透過分束器後,會沿著預定的方向前進。
接收端光學設計
1)收集透鏡:用於收集從目標反射回來的光,並將其聚焦到探測器上。
2)分束器(分光鏡):與發射端相同,接收端也需要使用分束器來引導反射光進入收集透鏡。
3)濾光片:通常會在探測器前放置濾光片,減少背景光幹擾,只允許特定波長的光透過。
光學設計考慮因素
1)共軸性:確保發射和接收光路共軸,這樣可以精確地對準目標。
2)光束控制:透過適當的光學元件設計,控制發射光束的形狀和強度分布。
3)背景抑制:透過濾光片和其他手段降低背景光幹擾。
4)聚焦精度:確保收集透鏡能夠準確聚焦反射光,提高接收訊號的質素。
5)熱穩定性:設計時需考慮溫度變化對光學元件的影響,確保在不同環境下光學效能穩定(激光雷達中光學件一般需要與結構件搭配使用,需考慮到二者的熱膨脹系數)。
6)機械穩定性:確保整個光學系統在振動或沖擊等條件下仍能保持對準。
3.在轉鏡式激光雷達中,由於轉鏡不是絕對的勻速,會導致點雲有可能左右晃動,有什麽好的解決方法嗎?
【待補充】
4. 「同軸光路」和「旁軸光路」的優劣勢分別有哪些?
【來自Jessica老師】
"同軸光路"和"旁軸光路"通常是在光學設計及其相關套用中會提到的概念,定義是:
- 同軸光路:入射光與出射光共軸的光路系統,即光線沿著同一軸線或平行於同一軸線傳播。市場上已有的禾賽AT128即為部份同軸激光雷達產品(探測光束在光發射器和掃描器之間, 和回波在掃描器和接收器之間光路至少部份同軸)。
- 旁軸光路:入射光與出射光不在同一光路上,而是相對於某個偏轉軸偏移的光路系統。
同軸光路優勢:
同軸光路劣勢:
旁軸光路優勢:
旁軸光路劣勢:
可參考如下專利:
專利號:CN 114624674A【激光雷達】
專利號:CN115267799A【分光裝置和激光雷達】
專利號:CN118311542A【激光雷達的光掃描系統及激光雷達】
5. 轉鏡方案中「點光斑」和「線光斑」的優劣勢分別有哪些?
1)轉鏡+線光源
只有1個轉鏡實作水平方向的掃描,垂直方向使用線光源。
![](https://picx.zhimg.com/50/v2-e83efb84d5ca70124cabca06e0434f03_720w.jpg?source=2c26e567)
掃描示意圖:
![](https://pic1.zhimg.com/50/v2-0928939c48cf776936d03bf7b6d139de_720w.gif?source=2c26e567)
代表產品有華為D2、D3,整合多個半導體激光器的光源,經過光學器件的整型成為均勻的線光斑。
禾賽AT128不是「線光源」,更準確的說,應該是「128個點光源」。
2)轉鏡+振鏡+點光源
同時采用轉鏡+振鏡,實作水平方向和垂直方向的掃描。
其掃描原理如下:
![](https://pic1.zhimg.com/50/v2-018c0707c2817716abfadacc0e4ae81c_720w.jpg?source=2c26e567)
掃描示意圖:
![](https://picx.zhimg.com/50/v2-9ec771fb106baad4e66eaae08c296fab_720w.gif?source=2c26e567)
3)優劣勢對比
轉鏡+線光源方案:
優勢:
- 線光源本身的分辨率很高(可認為是無限),如果需要增加垂直分辨率,只需增加接收端的分辨率,無需增加激光器。
- 轉鏡只需保證 勻速旋轉 即可,無需變速或其他特殊控制,整體難度不高。
挑戰:
- 幹擾光數量更多。由於光路的可逆性,點光源路線的激光雷達,只有與當前發射光線角度近乎完全相同的外界光線才能進入接收端,而對線光源激光雷達而言,當前掃描到的一條豎線上的外界光線都可以進入接收端,顯然幹擾光的數量遠多於點光源路線。
- 由於線光斑的能量更為均勻/分散,接收端需要使用更為靈敏的SPAD/SiPM,更容易受到陽光的幹擾。
轉鏡+振鏡+點光源方案:
優勢:
- 靈活度較高,透過改變振鏡轉速與激光器點頻,實作靈活的ROI;
- 光源數量少,成本低;
挑戰:
- 掃描的點雲pattern不規整,在FOV邊緣區域變形較大;
- 轉鏡轉速較高,壽命可能會較低;
6. 轉鏡激光雷達電機的構造、原理和特點?
【待補充】
7. MEMS激光雷達與轉鏡式激光雷達,它們之間點雲測距精度是否存在較大差異?
測距精度差別並不大:
![](https://picx.zhimg.com/50/v2-ab01015bb74ad1f45e456fcbcd720987_720w.jpg?source=2c26e567)
(四)成本
1. 目前整機的成本組成情況是怎樣的?sony459成本大概多少?
轉鏡類激光雷達成本構成參考:
![](https://picx.zhimg.com/50/v2-9907fb174e8bbd7f5619f5ac187cf16c_720w.jpg?source=2c26e567)
- 光學部件占整體成本的30%,轉鏡是其中成本最高的部份。
- 主控芯片的FPGA芯片較貴,但隨著轉向自研SOC,成本有望降低。
- 接收端芯片目前主要采用日系產品。
- 發射端芯片成本相對較低,國內企業在這一領域有所發展。
- 隨著產量的增加,光學部件和芯片成本預計將進一步降低。
1)光學部件:
禾賽、圖達通的光學部件主要由永新和舜宇供應。華為的光學部件主要使用宇瞳光學的收發鏡頭。速騰聚創主要使用MEMS方案,主要供應商是舜宇光學和亞洲光學。Innoviz主要使用永新的光學部件,而法雷奧也與國產企業合作。目前,光學部份市場主要由國產供應商占據。
2)主控芯片:
之前主要是用高效能FPGA,但現在各家都在自研主控SOC。標準化的SOC可以顯著降低成本。目前來看,單個芯片的價格仍然很高,僅次於光學部件。
目前量產產品主要使用賽靈思的FPGA,隨著雷達企業越來越多地自研主控芯片,FPGA的使用越來越少。因此,相關成本也在逐漸降低。
3)接收端芯片:
接收端芯片大多使用安森美、索尼或濱松光子的芯片,但這些也相對昂貴。目前國內企業難以參與這一市場。
4)發射端芯片:
目前主要依賴海外供應商。例如,禾賽之前使用的VCSEL是Lumentum的產品,速騰則主要使用歐司朗的EEL。國產VCSEL廠商主要包括長光華芯和縱慧芯光。禾賽等廠家也在計劃自研VCSEL,發射端芯片的成本降低也在快速降低。
sony459成本大概多少?
【待補充】
2. 各家頭部激光雷達單台的生產制造費用大概是怎樣的?
生產制造費用和結構復雜程度、產線設計、出貨量等關系非常大。、
公開資訊較少,可以參考速騰和禾賽等企業的季報或者年報。
(五)軟件
1. 激光雷達的時間同步是怎麽做的?
通常都是采用gPTP協定。
2. 激光雷達和相機做時間同步時,兩者的檢測時刻是否一定要相同?
並不需要,激光雷達自身將時間戳打好即可,激光雷達和相機各自保持足夠的幀頻即可。
一般情況下激光雷達打時間戳的時刻,最理想的是取發波開始時間和接收到回波時間的中間時刻,在要求不太高的情況時,可以直接取發波時刻或者收到回波時刻。
3. 激光雷達和毫米波雷達在訊號處理和目標跟蹤方面,有哪些異同?
1)對於「訊號處理」
由於測量方式的不同,訊號處理差異較大。
激光雷達按照測距方式,分為dToF和iToF兩種類別。dToF主要是脈沖編碼和解碼、飛行時間解算,另外考慮到不同的掃描方式,演算法還有部份區別。
dToF激光雷達測量原理:
![](https://picx.zhimg.com/50/v2-b94a9b70f5e751c099a602346f924165_720w.jpg?source=2c26e567)
iToF主要有AMCW,FMCW,PMCW,RMCW等,有的透過相位解算,有的透過頻率解算。dToF和iToF之間的訊號演算法差異很大,iToF裏面不同類別差異也很大。
AMCW激光雷達測量原理:
![](https://pica.zhimg.com/50/v2-b272afadd567ab7b658b0230ff11696e_720w.jpg?source=2c26e567)
FMCW激光雷達測量原理:
![](https://picx.zhimg.com/50/v2-8dd8c6ee49e1298407cac09ae3f04548_720w.jpg?source=2c26e567)
PMCW激光雷達測量原理:
LiDAR上PMCW就是借鑒了微波的概念,發射調制加上Barker碼,回來接收做自相關,增益會比FMCW拍頻帶來的增益低,不過對光源要求低很多,功率還可以提高。對調制周期內的訊號做STFT,可以得到Doppler frequency,然後解算速度。
![](https://picx.zhimg.com/50/v2-4f0d1853a4f7ae34a15e1abdd101dee8_720w.jpg?source=2c26e567)
RMCW激光雷達:
Ramdom Modulation理論上可以調振幅、調相位,但是多用於調相位進行相幹探測。澳洲初創激光雷達公司 Baraja 是 RMCW技術的典型代表,該公司采用 RMCW 技術結合棱鏡色散光譜掃描技術研制出型號為 Spectrum HD的車載級雷達。
![](https://pic1.zhimg.com/50/v2-9e8fda47f8168a899c09824d446d846b_720w.jpg?source=2c26e567)
毫米波雷達主要分為FMCW和PMCW類別,FMCW是目前主流方案,透過頻率解算,和FMCW激光雷達原理類似,PMCW使用相位編碼的方法進行解算,兩者是完全不同的訊號處理演算法。
FMCW毫米波雷達:
PMCW毫米波雷達:
![](https://picx.zhimg.com/50/v2-89708c24b81fc7d8731bb9659f5824b4_720w.jpg?source=2c26e567)
FMCW和PMCW的原理對比:
![](https://picx.zhimg.com/50/v2-d1ddecb7195a679d6e11998f7a508ce9_720w.jpg?source=2c26e567)
優劣勢對比:
![](https://picx.zhimg.com/50/v2-749e763b19e9e3e22c9dbaf608a3fc8d_720w.jpg?source=2c26e567)
2)對於「數據處理」
「數據處理」主要做原始點之後的聚類、跟蹤、航跡管理、模式辨識。
毫米波雷達和激光雷達之間的方法論類似,不過由於激光雷達點雲密集,dToF激光雷達沒有速度資訊,因此在具體演算法的選擇上,以及參數設定上,有一定的區別。
4. 激光雷達如何作為真值系統,訓練毫米波雷達、視覺的檢測模型?
可以參考亮道、速騰等公司的激光雷達真值系統。
5. 激光雷達、網絡攝影機和毫米波之間如何做數據融合?當前有哪些主流方案?
【待補充】
6. 采用SPAD接收器的激光雷達,其點雲處理演算法架構是怎樣的,一般需要怎樣算力的處理器?
【待補充】
7. 激光雷達臟汙檢測的原理是什麽?難點有哪些?
【待補充】
(六)標定和產線
1. 激光雷達內參標定是如何進行的?標定哪些參數?如何進行標定?
【待補充】
2. 激光雷達產線標定和動態標定的原理是怎樣的?
【待補充】
3. 激光雷達、網絡攝影機和毫米波之間如何做聯合標定?
因為這三種傳感器標定物不一樣,而且可能會有互相遮擋的情況,因此很多時候並不是聯合標定,而是獨立分開標定,不過有可能在同一工位進行。
對於工廠標定來說,一般有兩種操作方法:
1)三個傳感器在一個標定工位,但按照時序分別標定;
2)激光和網絡攝影機一個標定工位,毫米波自己一個工位(需要周邊環境有吸波材料);
4. 激光雷達作為新器件,對主機廠量產產線帶來了哪些影響?相比其他ADAS傳感器,是否有特別需要註意的事項?
可能需要註意的點:
1)表面劃傷。會導致退貨等(如果Tier1有出廠照片記錄,一定程度上可以排除退貨風險,這種情況會被設定為廢料)。
2)表面貼膜未撕下。此時會導致功能受限,需要設定合適的工序,合適的時刻去掉貼膜。
3)如果放在車頂的地方,有時還會塗導熱膠,有些膠還需要特定溫度塗膠,此時還需要增加保溫箱。
(七)極端場景和抗幹擾
1. 路上裝激光雷達的車多了之後,如何避免相互幹擾?是在傳感器端還是在域控演算法中解決幹擾問題?
當有多個激光雷達相距較近時,不同雷達發射和接受脈沖容易相互幹擾,從而出現幹擾點雲。該現象對於采用dToF體制的激光雷達更容易出現。
解決方案:
- 采用光隨機編碼,透過校驗分辨幹擾訊號,從而濾除錯誤數據。其他還包括增加濾光片,偏光片,調光俯仰角,分時收發,調節占空比等等方法,也都可以降低被幹擾的概率。
- 采用iToF測量方式,即激光相幹技術,例如FMCW激光雷達。相幹激光雷達采用回波與本征光相互幹涉來檢測回波,環境中其他光(包括太陽光,其他激光雷達的光)很難與本征光產生幹涉,也就不會被檢測到,不容易產生噪點。
需要在激光雷達傳感器側進行幹擾抑制。
詳見:【雪嶺 · 激光雷達常見點雲異常場景分析】
2. Lidar在雨、霧、雪、塵土等條件下的表現如何? 應對的難點在哪裏?有哪些應對方案?
詳見:【雪嶺 · 激光雷達常見點雲異常場景分析】
1)雨霧幹擾
當雨量不大時,在雷達視場內會出現大量雜訊點雲,同時,激光雷達的測距效能發生衰減。
主要原因是激光雷達光束打到雨滴或者霧滴上,激光發生反射和吸收,造成點雲的異常增加或者點雲的消失。
如下圖所示,下雨導致了大量噪點(白色點):
![](https://picx.zhimg.com/50/v2-38011bf483d62dc9fd91bc5b92eeddf0_720w.jpg?source=2c26e567)
當大雨或者暴雨時,點雲密度和測距範圍大幅下降,點雲基本無法反映有效目標:
![](https://pica.zhimg.com/50/v2-929cebbe9b09b89a98ced02920f234c6_720w.jpg?source=2c26e567)
霧的影響和雨水類似。一般來說,在霧天不嚴重的情況下,如輕霧(能見度為1km-10km),霧天並不會明顯影響激光雷達點雲。但是,當霧天能見度越來越低後,激光點雲的透過率會下降,雷達視場內出現大量噪點(如下圖白色點)。
![](https://pica.zhimg.com/50/v2-72559eeb64df6b4bf737bf3ca613d717_720w.jpg?source=2c26e567)
輕霧和濃霧時,對於點雲的影響對比:
![](https://picx.zhimg.com/50/v2-50b6cdd262bde8e29baba2c1d66f4802_720w.jpg?source=2c26e567)
應對方案:
透過反射特性(反射率、方向、強度)、尺寸、形狀等特征來辨識目標,透過記錄目標波形,來辨識被檢測目標是否是霧或者濃煙,以進行濾除。
激光雷達光束打到一些物體上會發生透射,透射的光再遇到物體還會發生反射,這樣激光雷達發射一束光可以接收到多次反射光,采用相應的演算法對多次發射光進行處理,就是多回波技術。
![](https://pica.zhimg.com/50/v2-1df6e5cdc57771b7f5504a93cc5f399d_720w.jpg?source=2c26e567)
如果在雨霧環境中,激光可以穿透雨霧,最後打到障礙物上並反射,采用最後一次回波就可以把雨霧濾除掉。
不過,多次回波的作用是只用於較小的雨霧,如果雨霧很大,導致激光完全無法穿透雨霧,則依然無法有效檢測。
目前市面上的激光雷達通常會支持單回波與雙回波兩種模式。單回波模式:一般有兩種選擇,即「最後回波」和「最強回波」。「最後回波」是指雷達只輸出最遠的一個回波;「最強回波」是只輸出最強的一個回波。雙回波模式:通常是「最後回波」和「最強回波」,也可能有別的模式。開啟雙回波的激光雷達點雲密度通常是單回波的2倍。
下圖是不同波長的激光雷達去水系數譜(Water extinction coefficient spectrum):
![](https://picx.zhimg.com/50/v2-38923e3e8972bfbb83755cc65f7d8404_720w.jpg?source=2c26e567)
相對於905nm的激光,1550nm的激光更容易被水霧吸收。
正是由於該特性,1550nm激光對人眼安全影響更小(激光還沒有打到視網膜,就被眼球裏面的水給吸收了)。但是,同時1550nm激光雷達在雨天的表現,一般會比905nm激光雷達要差一些。
對於線掃描激光雷達來說,發射光是一個細小的光束,對於光束的路徑上的雨滴等顆粒比較敏感,容易形成噪點。
Flash激光雷達發射面陣激光,雨霧顆粒只反射一小部份激光,透過濾波演算法,可以較為容易將雨滴、灰塵顆粒等的噪點濾除掉。
![](https://picx.zhimg.com/50/v2-2d1d28ffe0b21f970c5175d6c97de211_720w.jpg?source=2c26e567)
圖片來源:網絡
2)粉塵和雪幹擾
粉塵和雪是固體,比雨霧更容易反射激光,從而形成更為明顯的噪點。
主要是使用去噪演算法,進行濾除。主要分為點雲濾波演算法、波形辨識演算法、以及基於深度學習的去噪演算法。
其中,點雲濾波演算法常見的有體素濾波、高斯濾波、雙邊濾波等方法,但是在對於一些特定場景下的點雲雜訊,這些傳統演算法往往起不了太大效果。
波形辨識演算法(和雨霧處理類似),主要是依據經驗,分析雜訊點雲出現的方位、反射率的大小,透過這些資訊設定閾值過濾點雲;
目前基於深度學習的去噪方法也越來越受到大家重視。透過開發基於語意資訊的雜訊濾除網絡,例如基於體素的CNN方法、CycleGANs等等,具體可參考:Mariella Dreissig等【Survey on LiDAR Perception in Adverse Weather Conditions】。
基於CNN 的點雲去噪網絡的效果如下:
![](https://pica.zhimg.com/50/v2-7a131e2684c24c9ae78b753b00795523_720w.gif?source=2c26e567)
3. 對於flash激光雷達,串擾問題解決的思路有哪些?
詳見:【雪嶺 · 激光雷達常見點雲異常場景分析】
在薄膜晶體管液晶顯視器中,通常將串擾定義為整個螢幕中某一區域的顯示會受到另一區域的影響,而造成畫面失真的一種顯示異常的現象。
如下圖所示,黑色方塊的上下區域的亮度,被黑色方塊影響:
![](https://pic1.zhimg.com/50/v2-a08788fa8ee46c74912493c9b5114b40_720w.jpg?source=2c26e567)
類似的,在激光雷達中,接收陣列中的一個雪崩事件在像素內觸發時,大量的雪崩熱載流子溢位,發射出900-1700nm波長範圍內的近紅外串擾光子。這些串擾光子直接或者間接的被相鄰的像素檢測到,從而導致串擾。如下圖所示(接收陣列以SPAD為例):
![](https://picx.zhimg.com/50/v2-9489a661dc8932ff167343a4b20f682f_720w.jpg?source=2c26e567)
串擾會降低訊噪比(SNR),並降低成像的空間分辨率。
串擾強度隨著像素間距的減小而增大,從而限制了SPAD陣列可達到的像素密度。
解決方案
一般情況下,通常采用在相鄰像素間刻蝕隔離溝槽,以及串擾濾波層和背面金屬化,來阻斷串擾光子的傳輸鏈路。
利用聚焦離子束(FIB)蝕刻和鉑填充溝槽的方法可以抑制最近相鄰像素間60%的串擾。不過引入的刻蝕,以及倍增區的暴露側壁和分離損傷,會降低接收器件的可靠性、穩定性,同時還可能會增加暗電流,從而導致高的暗計數率(DCR)。
在國家自然科學基金專案(批準號:61774152)資助下,中國科學院半導體研究所光電子材料與器件重點實驗室楊曉紅研究員團隊在InGaAs/InP單光子雪崩二極管陣列串擾抑制領域取得進展。研究成果以「載流子抽取結構在InGaAs/InP單光子雪崩二極管陣列中的高串擾抑制(High crosstalk suppression in InGaAs/InP single-photon avalanche diode arrays by carrier extraction structure)」為題,近期發表於【自然通訊】(Nature Communications)上。論文連結:https://www.
nature.com/articles/s41
467-023-43341-9
他們提出一種在平面InGaAs/InP SPAD陣列中實作高串擾抑制的載流子提取結構(CES)。這個CES是p摻雜通道,透過引導光產生的串擾孔到表面來隔離像素,而不是阻擋光路。
在該工作中,研究團隊提出了一種基於電場疏導的載流子抽取結構,在未引入任何刻蝕損傷的前提下實作了大於90%的高效串擾抑制。該載流子抽取結構分布在陣列非像素區域,透過該結構以電場引導的方式將非像素區域的串擾光生載流子抽離有源工作區,實作了陣列像素間串擾和本征雜訊的降低,同時還保持了平面型器件的高可靠性和高穩定性。
如下所示:
![](https://picx.zhimg.com/50/v2-641e291578a1d0d4fdd62ddd7c6463f4_720w.jpg?source=2c26e567)
結果表明,在間距為100/50μm的陣列中,由於對光電串擾的強烈抑制,串擾抑制效果超過90%。透過減小像素與電子束之間的距離,可以實作更好的串擾抑制。當距離大於12 μm時,即使施加0V的偏置電壓,也能有效地抑制串擾。隨著距離的減小,需要在CES上施加更高的反向偏置電壓,以保證像素和CES獨立工作。
![](https://pic1.zhimg.com/50/v2-a7bc0c1c19a5c207305d96d3f520b5ed_720w.jpg?source=2c26e567)
研究團隊在理論和實驗上驗證了該結構的串擾抑制效果,在100 / 50 μm間距的像素中實作了91.52% / 96.22%的串擾抑制效果,為發展低串擾的大規格、高像素密度單光子雪崩二極管陣列提供一種新的解決思路。
除了上面方法之外,還可以考慮透過軟件的方法,將激光的發射和接收在空間上相互錯開,即不同激光器之間發射的空間範圍不一樣,或者是時間上錯開,來降低串擾的問題。
(八)FMCW雷達
1. 在較高速度行駛過程中,FMCW雷達如何進行點雲的逐點畸變矯正、Doppler速度補償?
【待補充】
2. FMCW雷達是怎樣進行內參標定的(Doppler徑向速度標定、點雲距離標定、 多個激光探頭角度分布),依賴什麽樣的工具?
【待補充】
3. 目前市面上的FMCW激光雷達,在檢測效能如何?與主流半固態雷達(如:AT128 、 Falcon) 相比差異較大嗎?
主流玩家的產品效能見下面兩篇文章:
【1.5萬字初探:車載激光雷達的終極形態——FMCW激光雷達的原理、優勢、方案和玩家】
【雪嶺 · 萬字再談FMCW激光雷達——發展現狀、挑戰和應對(含2個國內頭部玩家介紹)】