您当前的位置:首页 > 财经 > 财富商机 > 我是AI工程师,却在猪厂做“美容”....

我是AI工程师,却在猪厂做“美容”

2022-01-05 08:12:27 浏览: 83 作者: 如花似月
摘要:“当时的捏脸系统很复杂,几十上百个滑块,调整各种参数,普通玩家要好几天才能捏出一个自己的形象。”AI捏脸师,网易伏羲视觉技术负责人神秀说道:“这个流程太复杂,我们希望开发一个AI算法,让每一个用户都能用一张照片在游戏中快速创建让自己满意的形象。”“我们最初的构想是,希望AI能够模仿真实人类在捏脸时的反馈,比如我先捏一个

我是AI工程师,却在猪厂做“美容”

“当时的捏脸系统很复杂,几十上百个滑块,调整各种参数,普通玩家要好几天才能捏出一个自己的形象。”AI捏脸师,网易伏羲视觉技术负责人神秀说道:“这个流程太复杂,我们希望开发一个AI算法,让每一个用户都能用一张照片在游戏中快速创建让自己满意的形象。”

“我们最初的构想是,希望AI能够模仿真实人类在捏脸时的反馈,比如我先捏一个初稿,然后和用户上传的图像对比,看看哪里不像,比如说眼睛、嘴巴,然后再针对性地去调整。然后再对比,再调整,如此反复,最终让两者无限的接近一致。”

说起来容易,但做起来却并不简单。

“刚拿到这个课题的时候是最难的。”神秀告诉商业数据派:“因为整个业界在之前都没有人做过这个事,没有先例可以借鉴。”

首先就是如何捏脸的问题,当时伏羲内部其实也从不同角度讨论了许多方法,但最终只有两种是比较成熟可行的。

一种是从骨骼捏脸的角度去做尝试,这种方式比较成熟,也比较适合现有的一套产业化流程,所以在游戏中落地也比较容易。但它的缺点就是没有那么像。

另一种方案就是从人脸重建的角度去尝试,这套方案可以完全重建人脸的三维贴图,甚至人脸皮肤的每一个褶皱。但它的缺点就是计算的耗时会比较长,然后同步也会比较困难,这也让它不太适合游戏的场景。

我是AI工程师,却在猪厂做“美容”

确定了如何捏脸,第二个问题就是如何落地。网易伏羲技术负责人木白告诉我们,捏脸这项技术,早期主要就是服务雷火游戏,所以直接的问题就是如何与游戏系统相结合。

按照最初的设计,捏脸系统采用深度学习算法编写。但要与游戏相结合,就需要把游戏的渲染系统引入到深度学习算法里面去调优。而问题是,游戏的渲染系统没有办法读懂AI的数学参数。

面对这些问题,再三衡量之后,伏羲最终决定在基于神经网络算法的基础上再开发一套游戏渲染系统,从而将整个pipeline打通。

我是AI工程师,却在猪厂做“美容”

在一系列研发的问题解决之后,本以为之后的工作会轻松一些,但另一个新的问题又出现了,而且这个问题还是一直埋头开发的程序员们之前一直没想到的。

“使用这套系统,需要玩家上传一张照片的,所以在游戏中我们会提示玩家上传一张正脸照片。”神秀告诉我们:“在我们的预想中,玩家提供的照片是正脸、角度正常、然后光照是均匀的、手也不要抖。”

“但大多数玩家不会听你的,即使你的提示写的很诚恳,他们也是随便一拍完事。这样自动捏脸的效果肯定就不会好,所以许多玩家就会说,这个系统真垃圾。”

“我们肯定也会感到很委屈,但也很快认识到自己的错误。”神秀回顾道:“我们一开始预设的是一个理想的实验室环境,真实的线上环境肯定不是这样的,它会面临许多干扰,比如拍摄时的光照,不同设备的拍摄条件,是否手抖等等。”

“另一个错误则是,我们一开始设想的是让玩家来配合技术,而不是技术去适应玩家,所以没考虑到之前那些问题。”

根据这些情况,网易伏羲团队依靠提高算法的鲁棒性,让随手拍的照片都能被识别。除此之外,还对算法做了进一步的加速,减少了玩家的等待时间,也会适当地对虚拟形象做一些美化。

在与玩家不断的“碰撞”下,捏脸系统也逐渐得到完善。

技术男学化妆

虽然AI捏脸的开发过程并不容易,但事实上,有些难题反而会让这个过程变得更加有趣。

“你肯定很难想象我们一堆做技术的直男,会去看美妆视频,研究口红色号。”神秀笑谈道。

事情起因,神秀和同事们在做捏脸算法的时候,发现许多女玩家会倾向于把自己好看的照片,比如美颜或者妆后的照片拿上来,这和男玩家有很大不同,男玩家可能就是随便拍一下。

“在我们最初的认知里,女生化妆就等于涂口红嘛。所以就想加一个口红,相当于给女玩家的捏脸加上了妆容。”神秀回忆道:“我们几个男生也讨论过,比如说口红有几种颜色,但是我们没有人知道,所以最后就随便拍板定了三种颜色认为应该足够了。”

“后来这件事情被产品经理发现了,我们就被喷了。”神秀有些不好意思:“我们产品是个女生,她告诉我们口红有多少种色号。而不止我们之前定的红色、橘色、大粉红色。”

这件事情之所以会被如此在意,是因为按照算法,为了让捏脸的效果更自然、精准,带有妆容的照片一般都需要先进行检测和还原,捏完脸之后再匹配一些系统的妆容。

因此,要让系统自动实现这个过程,工程师在编写算法的时候自然也需要对女生妆容的效果有一些基本的了解,比如高光、阴影、眉毛的造型、腮红的款式、雾面感、乱神感等等。

“事情闹出了笑话,所以我们后面就真的去B站、各种短视频上学习化妆。”神秀说道:“看了之后才知道,原来化妆还有这么多步骤,什么眼影、腮红、遮瑕、阴影等等,我们从中也了解到许多神奇的知识。”

“我会在B站上看一些仿妆,像之前很火的范冰冰仿妆。”同为捏脸师的晚丰说道:“算不上系统的学习,就是会关注、了解,然后发展成为一个业余爱好,了解这些之后,起码和女朋友聊到化妆话题的时候就不会再接不上话了。”

“现在我们比之前好多了,起码不会再将化妆和涂口红划上等号,看到一些妆容也能大概能知道她可能涂了什么。”神秀说道。

除了化妆,从事这份工作之后,对人的了解也会加深入。晚丰告诉商业数据派,因为捏脸经常会了解一些人的面部结构,比如中庭长短、三庭五眼之类的。工作久了之后,个人审美也会提升一些。

晚丰提到,他是2020年初进入这个岗位,至今已经快两年了。和一些科班出身的同事不同,晚丰在学校的专业是自动化,后来一直做视觉AI相关的工作。进入智能捏脸这个项目,除了团队内部机缘巧合之外,更大程度也在于自己的兴趣。

我是AI工程师,却在猪厂做“美容”

日常休息的时候,晚丰也会去游戏中体验自己开发的系统,捏一些的自己喜欢的角色。当一个喜欢的二次元形象通过自己开发的系统逐渐变得鲜活的时候,就会感受到一种特别喜悦。

“而且通过我们开发的算法,让更多地人都能够感受到开心的时候,其实是很自豪的。”晚丰告诉商业数据派,捏脸和其他产品不同,这份工作直接服务于用户,能够和用户直接交流,能够给玩家带来快乐,这本身就是一件很酷的事情。

捏脸,也是在捏世界

此前,捏脸最主要应用在游戏的世界,但元宇宙的来临,让虚拟形象有了更多用武之地。

在2020年,由于新冠疫情在全球范围的影响,线上会议、活动、交流变得越来越寻常,捏脸技术曾经有限的使用场景也开始迎来了改变的契机。

这其中,一个非常重要的时间是2020年7月24日,在一个名叫动物森友会的游戏中,一场世界顶级的学术会议正在准备开始。

虽然是在游戏世界,但主持人仍然郑重地表示:“很抱歉这场活动出现了一些延迟,但现在我很高兴地宣布 ACAI 2020 Workshop 正式开始。”

我是AI工程师,却在猪厂做“美容”

显然,从动森中的ACAI 2020 Workshop到网易云音乐的敲钟,再到近期百度发布“希壤”,越来越多活动开始选择在虚拟平台中举办,而捏脸成为人们在虚拟世界中建立认知,获得真实感的第一步。

“在不同的场景中,我们会希望表现出不同地形象。”从游戏到国际会议,关于不同场景下的捏脸应用,伏羲捏脸的产品经理楚涵也有自己思考。

“比如社交、化装舞会、party,我们会需要一些有趣的形象,但在严肃性的会议,我们的形象一定是和真人1:1或者80%-90%相近的,这样能让参会的用户更有沉浸感。”

如今,随着元宇宙的概念越来越火,捏脸也在更多地场景中被市场和行业所重视。

我是AI工程师,却在猪厂做“美容”

“我理解的元宇宙,就是互联网从2D到3D的过程。”神秀和我们谈到:“现在的互联网更多传递的是一个2D的数据,2D的文本、2D的视频,所以我们在社交媒体上的形象是通过头像来展示的。但进入元宇宙之后,我们身处在内容当中,成为内容的一部分,也会需要一个3D的形象来作为自己的“头像”,而捏脸技术恰恰就能提供这样的服务。”

可以说,捏脸技术已经成为了构建元宇宙的基础技术之一。而作为捏脸技术的重要应用,虚拟会议平台也正在拓展更多样化的应用场景。

“现阶段瑶台办了许多的线上会议,但未来我们并不想将它局限成一个线上会议系统,期望它能够给人们的生活带来更多的改变。”网易伏羲技术负责人木白说道。

“未来,我们可能会尝试更多地线上活动,包括展会系统、电影院、教室、婚庆等场景等等,让更多人通过虚拟平台体验到更便捷、更有趣、更有仪式感的生活。”

再回过头来看,捏脸技术从萌芽到发展,参与其中的从业者们不仅自己因为捏脸而改变,同时因为他们捏的“脸”,整个世界也在发生悄然的变化。

对于这些平日里隐藏在写字楼高大的落地玻璃,或者格子间背后的人工智能工程师来说,他们是在捏脸,同时也塑造着这个世界。

相关阅读AI 美容 工程师
热门推荐
返回顶部