VR超写实数字虚拟角色技术（节选）
超写实3D角色技术是一组以计算机3D图形技术为主的技术，用于创作超写实3D角色作品。超写实主义是一种现代艺术形式，又称超级写实主义、新现实主义，源自并兴盛于美国[1]。日益丰富的VR/AR应用及内容的发展也为超写实特征提供了很好的工具。
尽管超写实3D角色创作的核心在于角色，但是角色本身不能孤立存在，需要一套完美配合的环境场景和展现手段。超写实影视作品中,虚拟角色还需要细致准确的动画能力。在围绕角色建模和渲染技术的同时，超写实3D角色技术还包括必要的场景建模和渲染技术、3D显示技术以及和虚拟创作物的交互技术。
超写实3D技术的未来也是虚拟和现实可以高度融合的未来，现实世界的人可以和虚拟世界的人和物能够自然的交互。这正是未来3D技术发展的内在目标。为了实现前面VR脚本的构想，我们需要具备高精度和高准确度的虚拟场景生成能力、超真实效果实时渲染能力、全息3D显示能力、高真实感触觉反馈能力和控制输入能力。未来数十年内人类的科技水平都无法创造真正真实的虚拟场景和人物角色，人类只能在现有基础上不断研究真实世界的材料特征、光学特征和规律，同时研究客观世界如何通过人眼视觉、身体触觉以及心理认知等方式在大脑中形成的映像，不断提升模拟人理解真实世界的能力。下面我们展开说明这些未来科技:
1. 高精度和高准确度的虚拟场景生成技术
自动测量场景颜色和深度的技术已经开始展现出一些威力，通过视频来自动快速生成场景模型[4], 三维数字扫描技术也被越来越多的应用来从现实世界复制高精度的模型[9], 未来人工智能技术也将可以帮我们解决那些耗时以及可以模式化的建模工作。但目前无法准确理解真实世界模型。未来需要构建足够准确和稳定的技术来快速复制现实世界场景，也需要更为快速的模型构建技术及工具来制作复杂的高精度场景模型。需要传达情感的关键模型必须在人的参与下进行创作，工具的灵活性和便捷性不可或缺。
2. 超真实实时渲染技术
为了能实现人和虚拟场景的交互,渲染技术需要提供实时的计算输出能力。
作为一种准确的，对真实世界中的材料对光的吸收和传播进行建模的模型，PBR基于三个条件:微表面模型(Microfacet)、能量守恒和双向反射分布函数(BRDF)。微表面理论认为我们看到的表面上的一点，是由许多微小光学表面组成。当光线l方向照射到表面一点，由于光学平面只能将光线l反射到平面法线n对称的方向上，所以只有法线方向n和入射光线l与观察方向v的半角方向h相同的微表面才会被看到。利用法线分布函数（normal Distribution function，NDF）来描述组成表面上一点的所有微表面的法线分布概率，通过输入一个h，获得法线方向n和h相同微表面的占比。但实际中，并不是所有微表面都能接受到光线，有的入射光线被阻挡，有的出射光线被阻挡，利用几何衰减因子（Geometrical Attenuation Factor，G）来描述表示未被阻挡的光线的比例。除了被阻挡的部分光线，还有一部分被折射，剩下的才是被反射的部分，利用菲涅尔方程（Fresnel equations）来表示这部分的比例。
是基础的反射公式，
是反射光结果,
是归一化的入射光中被折射的比例，
是归一化的入射光中被反射的比例，
是Cook-Torrance模型的高光部分。
中，n是表面顶点法线, h是为表面法线。F(l,h)是菲涅尔效果部分， G(l,v)是微表面入射光衰减部分，D(h)是微表面法线分布函数(Normal Distribution Function, NDF)。 NDF中可以整合环境、间接光、直接光、法线等各类功能信息。
PBR及BRDF模型有两个个突出优点: a)微表面理论很好的模拟了真实模型表面的光学规律，可以期望得到极为逼真的效果, b)除了模型内部结构对光的影响，几乎涉及到了光照的全要素成分,可以容易的进行扩展。
上图是关闭次表面散射，单独使用BRDF光照渲染得到的效果图。虽然结果很逼真，但是缺少了肉质感和生命机体的感觉。我们还需要次表面散射技术来增加绘制的真实感。
针对半透明表面的次表面散射技术会不断发展来更加准确的模拟半透明表面的光学特性，尤其是人的面部皮肤和光的复杂关系规律的进一步揭示和模拟，会进一步提升人体渲染的真实感。皮肤是一种复杂结构的多层物质。皮肤在整体上可以划分为表皮层、真皮层和皮下组织层。基于三层皮肤模型，我们已经可以非常逼真的模拟光线进入皮肤后传播、吸收和反射的效果[7]。
真皮层和皮下组织的物理和光学特性，并提出它们在光照计算中对应的作用:a) 表皮层, 这是皮肤主要传递的是物体表面漫反射呈现偏白色的固有色。身体各处的表皮厚度会有区别，眼睑下最薄，清晰的反射真皮层；脚底最厚更多的反射表皮层。外层至深层分别是角质层、透明层、颗粒层、棘状层、基底层，角质层由2-3层扁平接近死亡的细胞遮挡部分紫外线，所以皮肤不会像蜡烛一样透明。棘状层含黑色素生长细胞，聚集状态决定肌肤颜色浅层次表面更好呈现肌肤的细节状态。b) 真皮层，橙红色为主。透光性模拟角色真皮层的汗腺、血管、毛囊根部分，获得真实的深层肌肤质感。c) 皮下组织层偏深红色为主，含有大量脂肪拥有弹性质感。肉眼中通过表皮层、真皮层后的感知的皮下组织模糊结构已可以让观者清晰的感觉到生命的温度。
次表面散射，未来皮肤纤维微结构建模和渲染技术会逐渐成熟，近镜头观察时虚拟角色面部纤维纹理结构可呈现非常多的细节。Nagano等人测量了一些皮肤的变形对皮肤的影响，可以看到皮肤在拉伸时变得更加闪亮，当它被压缩时更粗糙[8]。利用拍摄的微观组织的正常分布作为向导，模糊拉伸方向的微观组织，再使微观组织在压缩的方向上锐化。因此，当被拉伸时，表面变平了，当被压缩时，就看起来聚成一团，它会产生类似的定向纹理和表面变形。由此得出皮肤扩张时，它会变得更加闪亮，当它收缩时，它会变得粗糙。当挤压和拉伸时，其微观组织的结构呈现出各向异性的纹理，动态的微观结构变化使其具有较强的表面张力。
皮肤表面被挤压和拉伸之后的法线变化。
我针对参考模型生成一张标准模型的置换贴图，然后模型动画过程中基于标准模型置换贴图,采用线性卷积核合成实际的置换贴图,这样可以极为真实的模拟皮肤表面微结构，增强超写实角色作品的水平。
3. 全息3D投影技术和裸眼3D显示器技术
全息技术是利用光的干涉原理和光波相位可以携带物体3D空间深度信息的特点，记录和重现3D影像。
全息3D投影技术基于全息技术，结合光的衍射原理，使用空间光调制器把记录的3D影像的光波调制后投射到空气中，利用光的衍射现象呈现漂浮在空中的立体影像。
裸眼3D显示器技术目前主有两个方向：一个方向是基于全息技术，类似于全息3D投影技术，但是衍射载体是三维光栅元件，这种显示器外观看起来是一个立方盒子。另一方向是2D屏幕绕某个轴在空间中高速转动,或者2D屏幕沿某个轴向高速往返移动。当屏幕运动速度足够快时，利用2D屏幕就呈现出了非常好的3D影像效果。
这些技术在未来足够成熟时，空间上融合的虚拟世界和真实世界将会极大的弱化虚拟和真实的边界。
4. 触觉反馈技术
触觉反馈技术主要有两个方向：一个方向是各种各样的穿戴式设备技术。比如带震动功能的鞋、触摸手套、带震动功能的运动衣等。另一个方向是超声波等非接触技术。
目前触觉反馈技术还很初级，远达不到人类自己的触觉水平。未来可以直接由模拟人的神经信号的方式来获得触觉反馈模拟。
5. 控制输入技术
目前的控制输入设备包括用手操作的鼠标、键盘、触摸屏、以及使用激光雷达等技术制作的手柄，用眼球进行操作的眼动仪、用身体姿态操作的各类穿戴式传感器，未来会更加自然和触觉反馈技术会更加紧密的结合模拟人和真实世界的交互。
超写实3D的未来，不但解决技术更进一步、节省时间、人工、资金的问题，同时还不只是能够以假乱真，更是技术源于生活而全方位超越生活的展现。是个重新定义生命价值、时长的新规则，让优秀的值的怀念的人在真实生命结束后，他仍然可以继续虚拟输出价值，印证了那句话“有的活着好像死了，有的人死了却还活着。”他可以完成正常人能够完成的，也能做到常人所不及的。这是一次技术的进击，也是新时代、新规则的来临。
作者简介：
邓释天：VR技术极客、数字图形学专家
研究领域：
* VR图形学的跨客户端研发
* 人脸识别与3d成像
* 3D电影的数字高仿真
* VR引擎的性能优化及动力学
* VR医学应用
经历：
01年完成中国第一个实时虚拟人应用于中国科学院计算机技术研究所基于多功能感知理论手语识别与合成研究，后次时代虚拟现实5d技术发明者；
VR数字人脸识别技术发明者；
跨平台数字毛发技术发明者；
跨平台数字柔体动力学实时演算技术发明者；
3D电影的数字化高仿真快速成像技术发明者；
创造全新3D引擎物理渲染技术的VR技术极客
相关阅读
企业DCIM：“上云”还是内部用？
广东联通携手华为完成国内业界首个Cloud Native原生云技术验证
