自動駕駛汽車如何「看到」紅綠燈？

這題我會，先講一下"看到"紅綠燈的難點。

難點1：小物體檢測

紅綠燈檢測屬於 小物體檢測問題 ，在一副影像上所占的像素比極小，並且不同於車輛，行人的檢測，紅綠燈所能提取的特征有限，基本上是顏色特征，這個對設計 神經網絡的特征提取 提出極大的挑戰。還需從其它角度考慮，如紅綠燈的位置始終在高處，紅綠燈的時序資訊等去判斷;另外對於相機的選型也有要求，選擇fov小的，聚焦功能好，所檢測的距離遠，但視野範圍小;選擇fov大的，視野範圍大，但檢測距離近，所以可能會配合兩個甚至多個不同fov大小的相機來檢測紅綠燈，這又會涉及到 多個相機融合 的難點問題。

難點2：紅綠燈即時變化

雖然跟交通標誌牌類似，都屬於靜態物體檢測，但紅綠燈的狀態是 即時發生變化 的，這提升了檢測的難度。此外，在不同光照條件下，紅燈和黃燈的 相似度很接近 ，甚至人眼都難以區分，只能根據燈的位置資訊來區分。另外不同地區的 紅綠燈設計方式 ，展現形式不一樣，如天津地區的條形展現形式，這就對紅綠燈的數據采集提出更多的挑戰，要覆蓋更多場景，增加了采整合本，同時對檢測網絡提出了更高的要求，具備更強的泛化性。

難點3：紅綠燈的倒計時

紅綠燈還會有 倒計時 的問題，在檢測到紅綠燈狀態的同時，對數碼的倒計時同樣需要進行檢測。此外同一個交叉路口，存在多個 不同狀態下的紅綠燈 ，對這麽多類別的紅綠燈檢測，就算是人可能也沒辦法區分清楚，需要配合一定的經驗。而對於機器來說，它需要的是短時間能做出判斷，難度極大。

難點4：紅綠燈的漏檢和誤檢

難點4：僅憑感知層面的紅綠燈檢測是遠遠不夠的，一容易誤檢，漏檢，這對決策規劃層有極大的影響，紅燈辨識成綠燈，繼續往前開，想想都是很危險的。所以需要結合高精度地圖，以及V2x技術來解決，一方面高精度地圖提供當前的車所在的車道資訊和距離紅綠燈的遠近資訊，V2x技術可以感知車輛紅綠燈的狀態資訊，再配合感知檢測的備份冗余，才能準確的實作紅綠燈的檢測問題。

實作方案：

透過感知去辨識紅綠燈，有一種舍身取義的感覺， 效果一般，適應力差 ，條件允許的話(如固定園區限定場景)，該裝V2X就裝V2X,多個備份冗余， V2X > 高精度地圖 > 感知辨識 。若碰上GPS訊號弱的時候，感知辨識可以出場了，大部份情況，V2X足以Cover掉大部份的場景。感知方案的具體實作參照文章，主要為 紅綠燈數據集采集，標簽處理，檢測模型訓練，演算法部署，追蹤後端最佳化，介面開發 ；

總結：

所以可以看出，在我們日常生活中不起眼但是在城市道路不可或缺的紅綠燈，要達到量產級別的檢測辨識，難度是相當大的，涉及到 不同地區的場景 ， 光照條件的影響 ， 多種技術 (高精度地圖/V2x/感知)的融合 多相機的融合 等，難度遠遠超過車輛行人的檢測，所以紅綠燈問題難度大，棘手，又是在復雜城區智能駕駛不可回避的一個問題。

透過單車智能的方式去感知紅綠燈難度太大，而且不能保證100%的辨識成功率，紅綠燈的誤辨識後果影響很嚴重，所以智能交通基礎設施建設需要及時跟上，包括 紅綠燈的智能化、動態道路分配、智能路網設計 等；這就需要得到城市政府部門的支持，能夠獲得城市路網的檢測數據，同時對獲得到數據的分析能力，高頻次的流動車的數據，位置資訊，需要極佳的訊號燈控制演算法及產品才能把優勢發揮出來。

效果：