《科创板日报》12月20日讯(编辑 邱思雨)据Apple Insider最新报道,苹果公司发布了一篇研究论文,讨论了其正在研究的生成式AI技术——HUGS。
HUGS,全称Human Gaussian Splats。据介绍,HUGS能够在约30分钟内从一个简短视频中生成数字人类分身。
苹果研究员兼HUGS论文作者之一的Anurag Ranjan在X平台上发布了有关该技术应用的最新视频。
在其发布的视频中可以看到,画面右方的三个数字分身正在草坪上跳舞。
苹果表示,当前的神经渲染技术相比早期有了显著的进步,但该技术仍然最适合应用在静态场景中,而不是动态场景中自由移动的人类。
而HUGS则建立在3DGS(3D Gaussian Splatting)和SMPL身体模型技术的基础上,来创建人类数字分身。Ranjan介绍道,HUGS仅仅需要约50-100帧的原始视频,这相当于2到4秒24fps的视频。
但是,目前该技术无法捕捉每个细节。对于未能捕捉并建模的细节元素,HUGS会自动填充。
目前HUGS经过训练,可以在约30分钟内生成数字人类分身。据称,这比NeuMan、Vid2Avatar在内的其他方式要快约100倍。
事实上,苹果公司一直致力于有关数字分身的研究。例如在其最新MR头显Vision Pro里,该设备能够通过前置摄像头扫描用户面部信息,并基于机器学习技术和编码神经网络,为用户生成一个数字分身。当用户使用FaceTime通话时,数字分身便可以模仿用户的面部及手部动作。
自以ChatGPT为代表的生成式AI大模型爆火后,苹果公司在AI技术上开发进度和商业布局一度被市场所诟病。对此,Apple Insider的报道指出,苹果并没有在生成式AI方面停滞不前,让人类数字分身跳舞就是证明。