华盛顿大学的研究人员利用网络上大量的照片重建了名人（比如Tom Hanks）的3D模型。其他人能利用照片或者视频来控制这种模型。（图片来源：华盛顿大学）
这些年，Tom Hanks演过很多角色，年轻的、年老的、聪明的、普通的，但为什么我们总能认出他？是因为他的外表、特有的言谈举止，还是他行动的方式？
华盛顿大学的研究人员证实，让机器学习捕捉“个人特征”并利用大量图片创建一个人的数字模型是可能的。若有足够的视觉数据，算法还能让Tom Hanks的数字模型做一个他其实从没做过的演讲。
“Tom Hanks之所以看起来像TomHanks的原因之一是能够被模仿他行为的计算机系统证明的。”这篇论文的首席作者，华盛顿大学计算机科学与工程的研究生Supasorn Suwajanakorn说道。
这项技术依赖华盛顿大学的助理教授Ira Kemelmacher-Shlizerman所带领的团队过去五年在3D人脸重建、追踪、校准、多纹理建模和操纵方面的进展。这个团队的最新进展包括将表情和一个特定的人说话的方式转移到别人的脸上。比如，把前总统George W. Bush的特殊习惯映射到其他政客和名人的脸上。
这是华盛顿大学的计算机视觉研究人员们向着大目标前进的一小步：利用家庭影集、视频、有历史意义的集合或其它现存的图形来创建完全交互交互的3D数字人物模型。
随着虚拟现实和增强现实技术的发展，研究人员想利用家庭影集和视频来创建一种关于远居亲人的交互模型，让其来代替二维的网络电话。“也许有一天，你就能戴上一副增强现实的眼镜，看到你母亲的3D模型坐在沙发上。”资深作者Kemelmacher-Shlizerman说道，“这种技术现在还不存在，可显示技术进展神速。那么，你会如何创建你母亲的3D模型呢？”
研究人员认为，有一天，重构技术会向前再迈一步：“想 象一下，有一天，你能够和任意一个实际上无法亲自见到的人交谈，比如LeBron James, Barack Obama, Charlie Chaplin，你还能和他们互动。我们正试图通过一些研究进展抵达这个目标。测试之一就是，你能否让他们的模型说一些他们从未说过的话，但看起来就像是 他们说的一样。这篇论文就在证明这种能力。”
现有的创建3D全息图或数字电影人物的技术通常是将人带进一个精心布置的工作室里，费力地捕捉这个人的每个角度和他活动的方式。显然，这在客厅里是做不到的。其它方法还需要用镜头扫描一个人来为电子游戏或其它虚拟环境创建基本的角色。但华盛顿大学的计算机视觉专家却想只用大量现有图片集来数字化地重建一个人。
为了重建像Tom Hanks, Barack Obama and Daniel Craig等名人的模型，机器学习算法挖掘了至少200张不同情境和姿势的网络图片。Kemelmacher-Shlizerman说：“我们提出：‘能不能在不用一个人和镜头互动的情况下，只用网络照片或者个人相片集创建一个他的模型？’这些年我们一直致力于创建能利用这种不受限制的数据的算法，这很重要。”
Suwajanakorn最近忙于发展一种捕捉基于表情的纹理的技术。比如捕捉当人们微笑或者困惑时面部细微的差异。通过操纵不同照片的光照环境，他发明了一种能将一个人容貌和表情的差异映射到另一个人脸上的新方法。这项突破使团队能够用其他人的视频来“控制”数字模型，还可能催生出许多虚拟视觉的新应用。
“怎样才能将其他人的表现映射到这个人脸上，而我们又仍能认出这个人？”Seitz说道，“这是这项研究最有趣的方面之一。我们已经展示了，George Clooney能够拥有George Bush的表情、嘴部和动作，但看起来还是George Clooney。”
原文链接：http://www.sciencedaily.com/releases/2015/12/151207131917.htm
翻译：吴苏栗 审校：檀泽浩
留言