因为工作试过1000支口红的人，大概率会是什么身份？化妆师？电商主播？美妆博主？但怎么看，似乎都不会是一名AI算法工程师。
可就是这样一位曾对千变万化的「红」毫无概念的工科直男，不仅攒下了上千支口红，更借此敲开了万亿美业市场的大门。
从面部关键点检测出发，他主导研发的虚拟试妆已成为旷视Face style美业解决方案的三大核心功能之一，为诸多行业客户和终端用户带来了关于「美」的新体验。
故事的开端，源于工程师们对美妆行业痛点的精准洞见，源于算法技术投奔商业怀抱的初心。夏天，藏在一款已投入商用的成熟产品背后，他说，「我们还想探索包括三维数字重建在内诸多新内容，将虚拟试妆效果做得更真实更自然。」
实现真实自然的在线妆效
旷视云服务事业部算法部的yuchao接到了一个全新的任务，开展虚拟试妆算法研究。
彼时，直播带货成为各电商、视频平台积极抢占的新流量入口，一时风头无两。但新商业模式下的美妆产品却受困于自身「想－看－试－买」的商业闭环路径，因存在着无法在线试妆的窘境，极大地影响了消费者的购物体验。
这一关卡撞上精于图像识别、人像处理技术的旷视，则多少带了些「金风玉露一相逢」的味道。理论上，通过检测面部区域的关键点，在特定区域使用AR增强现实的渲染技术，就能让消费者实时体验「身临其境」的妆容效果。
产品的研发逻辑听起来并不复杂。可在做产品调研时，yuchao却发现彼时市面上绝大多数同类型产品效果都像贴图，「试着玩玩还行，但要想和具体的口红对应上，基本是不可能的。」
只管「做得好看」的市场现状和旷视的研发初衷背道而驰。为真实反映试妆效果，避免「看起来很假」的尴尬，他决意在诸如底妆、眼影、口红等产品的虚拟妆效上，都遵循「找真人试妆拍照，和虚拟试妆渲染效果对比，有问题就进一步调整」的准则。这是因为，尽管不需要真人试妆也可以做出渲染效果，但缺少真实上妆图做参照，研发人员就难以确定虚拟渲染效果到底是否足够真实自然。
yuchao介绍称，「我们有专门的实验室，通过打光设备模拟不同色温，调节不同亮度，展现各种效果。找真人拍摄时，我们会让她先拍一张完全没有试妆的照片，然后再拍上妆后的照片。我们会拿试妆前的效果图做虚拟试妆，然后和她真实上妆后的照片做比较。」
在日复一日的拍图中，yuchao攒下了1000余支口红，「最早我们没有经费，用的都是同事不要的口红，做起来之后才开始去买。产品商业化以后，会有厂商找过来，像我们之前接入美瞳厂商时，就会要求他们寄产品过来，然后在力所能及的范围内找到瞳色较不同的人，让他们就同一款产品进行拍照，然后再把渲染效果和真实效果做比较。」
而在测评阶段，一般会通过三种方式来确定渲染效果是否足够真实自然。首当其冲的，是大家伙儿的直观感受。yuchao表示，「设计同事对颜色比较敏感，他们会看虚拟试妆的效果和真实妆效是否接近。」
其次还可以通过客观评测的方式，即统计渲染效果和真实上妆颜色的偏差数值，如果偏差值在可接受的范围内，就可以认为它是真实自然的；第三种测评方式则相对有趣，科研人员会把虚拟试妆的结果和真实照片做混淆，让测评人员自己去分辨哪个是真实试妆，哪个是虚拟试妆，如果他们很难分辨出来，就说明渲染效果是很真实的。
呈现千变万化的「红」
明确评判标准后，问题就转向了渲染技术的呈现，总结出一套会「根据不同底色动态调整输出结果」的渲染算法成为解题关键。以口红为例，实际生活中，光线、唇色及肤色都会或多或少地影响人们对口红颜色的观感，而这也正是消费者们对网购口红的最大顾虑。
为此，yuchao采取逐个击破的策略。比如，光线主要影响的是口红的亮度，不同的光线条件，相同的口红也会呈现不同的效果，为此需要根据输入的图像，判断图像中的光线条件；而色彩的错视现象表明，色彩呈现出的颜色会受到周围颜色的影响，这意味着肤色会影响人对于口红颜色的直观感受，所以要根据不同肤色做出相应调整；针对唇色及厚涂薄涂的差异，采用自研的色彩融合算法能够将唇色和口红颜色进行融合，以呈现比较准确的效果。
「总体而言，我们经过大量尝试，找到了不同口红在不同人嘴上的颜色效果规律，总结了一套能够最大程度还原颜色效果的算法。」yuchao总结道。
除渲染之外，旷视自研的面部稠密关键点能够提供多达上千点的关键点信息，稳定准确地定位面部五官位置，满足大倾斜角度的面部检测需求。同时，为避免手部遮挡等造成的遮挡边界混淆及非连续自然物体形状的情况，旷视还利用分割遮挡模型对高度重叠的对象进行分割，使二维图像能够真实反映立体世界。Yuchao直言，「这是图像效果不穿帮的重要因素。」
迄今为止，旷视开展虚拟试妆研究已有三年。在通向美妆王国的道路上，虚拟试妆为越来越多的消费者提供了如在现场的真实化妆体验，消除了消费者对色值、质地、效果的疑虑，帮助她们做出更加明智的购买决策；而通过为商家提供妆品SKU配置服务，虚拟试妆能协助商家更专业地展示产品，更快速、更便捷地配置好新上的单品，为美妆品牌更好地制定营销策略添砖加瓦。
可这位试色过上千支口红的算法工程师觉得成绩还远远不够。如今，他正看向美丽世界的更广阔处，「从上妆的手法，到不同妆品的搭配，我切实感受到美也是一门学问，我们距离真正做好还有很长的路要走。」
