因為工作試過1000支口紅的人，大概率會是什麽身份？化妝師？電商主播？美妝博主？但怎麽看，似乎都不會是一名AI演算法工程師。
可就是這樣一位曾對千變萬化的「紅」毫無概念的工科直男，不僅攢下了上千支口紅，更借此敲開了萬億美業市場的大門。
從面部關鍵點檢測出發，他主導研發的虛擬試妝已成為曠視Face style美業解決方案的三大核心功能之一，為諸多行業客戶和終端使用者帶來了關於「美」的新體驗。
故事的開端，源於工程師們對美妝行業痛點的精準洞見，源於演算法技術投奔商業懷抱的初心。夏天，藏在一款已投入商用的成熟產品背後，他說，「我們還想探索包括三維數碼重建在內諸多新內容，將虛擬試妝效果做得更真實更自然。」
實作真實自然的線上妝效
曠視雲服務事業部演算法部的yuchao接到了一個全新的任務，開展虛擬試妝演算法研究。
彼時，直播帶貨成為各電商、影片平台積極搶占的新流量入口，一時風頭無兩。但新商業模式下的美妝產品卻受困於自身「想－看－試－買」的商業閉環路徑，因存在著無法線上試妝的窘境，極大地影響了消費者的購物體驗。
這一關卡撞上精於影像辨識、人像處理技術的曠視，則多少帶了些「金風玉露一相逢」的味道。理論上，透過檢測面部區域的關鍵點，在特定區域使用AR增強現實的渲染技術，就能讓消費者即時體驗「身臨其境」的妝容效果。
產品的研發邏輯聽起來並不復雜。可在做產品調研時，yuchao卻發現彼時市面上絕大多數同類別產品效果都像貼圖，「試著玩玩還行，但要想和具體的口紅對應上，基本是不可能的。」
只管「做得好看」的市場現狀和曠視的研發初衷背道而馳。為真實反映試妝效果，避免「看起來很假」的尷尬，他決意在諸如底妝、眼影、口紅等產品的虛擬妝效上，都遵循「找真人試妝拍照，和虛擬試妝渲染效果對比，有問題就進一步調整」的準則。這是因為，盡管不需要真人試妝也可以做出渲染效果，但缺少真實上妝圖做參照，研發人員就難以確定虛擬渲染效果到底是否足夠真實自然。
yuchao介紹稱，「我們有專門的實驗室，透過打光器材模擬不同色溫，調節不同亮度，展現各種效果。找真人拍攝時，我們會讓她先拍一張完全沒有試妝的照片，然後再拍上妝後的照片。我們會拿試妝前的效果圖做虛擬試妝，然後和她真實上妝後的照片做比較。」
在日復一日的拍圖中，yuchao攢下了1000余支口紅，「最早我們沒有經費，用的都是同事不要的口紅，做起來之後才開始去買。產品商業化以後，會有廠商找過來，像我們之前接入美瞳廠商時，就會要求他們寄產品過來，然後在力所能及的範圍內找到瞳色較不同的人，讓他們就同一款產品進行拍照，然後再把渲染效果和真實效果做比較。」
而在測評階段，一般會透過三種方式來確定渲染效果是否足夠真實自然。首當其沖的，是大家夥兒的直觀感受。yuchao表示，「設計同事對顏色比較敏感，他們會看虛擬試妝的效果和真實妝效是否接近。」
其次還可以透過客觀評測的方式，即統計渲染效果和真實上妝顏色的偏差數值，如果偏差值在可接受的範圍內，就可以認為它是真實自然的；第三種測評方式則相對有趣，科研人員會把虛擬試妝的結果和真實照片做混淆，讓測評人員自己去分辨哪個是真實試妝，哪個是虛擬試妝，如果他們很難分辨出來，就說明渲染效果是很真實的。
呈現千變萬化的「紅」
明確評判標準後，問題就轉向了渲染技術的呈現，總結出一套會「根據不同底色動態調整輸出結果」的渲染演算法成為解題關鍵。以口紅為例，實際生活中，光線、唇色及膚色都會或多或少地影響人們對口紅顏色的觀感，而這也正是消費者們對網購口紅的最大顧慮。
為此，yuchao采取逐個擊破的策略。比如，光線主要影響的是口紅的亮度，不同的光線條件，相同的口紅也會呈現不同的效果，為此需要根據輸入的影像，判斷影像中的光線條件；而色彩的錯視現象表明，色彩呈現出的顏色會受到周圍顏色的影響，這意味著膚色會影響人對於口紅顏色的直觀感受，所以要根據不同膚色做出相應調整；針對唇色及厚塗薄塗的差異，采用自研的色彩融合演算法能夠將唇色和口紅顏色進行融合，以呈現比較準確的效果。
「總體而言，我們經過大量嘗試，找到了不同口紅在不同人嘴上的顏色效果規律，總結了一套能夠最大程度還原顏色效果的演算法。」yuchao總結道。
除渲染之外，曠視自研的面部稠密關鍵點能夠提供多達上千點的關鍵點資訊，穩定準確地定位面部五官位置，滿足大傾斜角度的面部檢測需求。同時，為避免手部遮擋等造成的遮擋邊界混淆及非連續自然物體形狀的情況，曠視還利用分割遮擋模型對高度重疊的物件進行分割，使二維影像能夠真實反映立體世界。Yuchao直言，「這是影像效果不穿幫的重要因素。」
迄今為止，曠視開展虛擬試妝研究已有三年。在通向美妝王國的道路上，虛擬試妝為越來越多的消費者提供了如在現場的真實化妝體驗，消除了消費者對色值、質地、效果的疑慮，幫助她們做出更加明智的購買決策；而透過為商家提供妝品SKU配置服務，虛擬試妝能協助商家更專業地展示產品，更快速、更便捷地配置好新上的單品，為美妝品牌更好地制定行銷策略添磚加瓦。
可這位試色過上千支口紅的演算法工程師覺得成績還遠遠不夠。如今，他正看向美麗世界的更廣闊處，「從上妝的手法，到不同妝品的搭配，我切實感受到美也是一門學問，我們距離真正做好還有很長的路要走。」
