■谭平

　　◎编者按：

　　元宇宙——这个由“meta”（元）与“universe”（宇宙）组合而成的Metaverse，成为时下互联网新宠。近日美国社交媒体巨头脸书（Facebook）宣布更名为“元”（Meta），其高调入局，更是给元宇宙添了一把火。然而，如何支撑或构建元宇宙，目前还是未知。

　　近日，阿里达摩院在云栖大会上宣布成立XR实验室作为元宇宙等虚拟世界“真实化”的手段。虚拟现实（VR）、增强现实（AR）、混合现实（MR）等技术未来将如何发展？且看阿里达摩院XR实验室负责人如何解读。

　　当谈论虚拟现实（VR）、增强现实（AR）的时候，我们到底在谈什么？新风口？新概念？新技术？新名词？从技术人的视角来看，这是技术累积的量变引发的。沉浸感体验的一个技术基础是对海量场景、物体、人物进行三维建模并渲染，属于计算机视觉和计算机图形学的交叉领域，曾经是一个相当小众的领域。

　　二十年前，我在选择这一研究方向时，这个领域并不像今天这般吸引眼球，入门非常辛苦，不但要学很复杂的数学、物理，发表一篇论文都要写上万行代码，甚至还需要在实验室的暗室里面动手搭设备、拍数据，出成果的周期很长。

　　二十年过去，技术已进步太多：三维模型数据比过去丰富得多，渲染效果也更逼真、更快速。三维模型可以由艺术家手工设计出来，也可以通过对真实物体、场景进行三维重建得到。并且，重建结果的细节更丰富，超过了手工设计。

　　得益于这些技术进步，VR/AR、“数字孪生”等虚拟世界有了实现的基础条件。

　　现如今，国内在这一领域已进入世界的前列，微软亚洲研究院的童欣、浙江大学的周昆等都是这个领域全球知名的学者。阿里达摩院也调集全球上百位科学家，成立了“XR实验室”。

　　“照片般的真实感”

　　我曾经担任国际计算机视觉与模式识别会议、计算机视觉会议和SIGGRAPH的领域主席，也担任两本学术杂志TPAMI和IJCV的副主编。回顾三维重建和渲染方向的进展，很多研究都是寻求“照片般的真实感”。

　　真实感渲染中的一个基本问题，就是研究光线在物体表面的反射现象。这是人类视觉感知的基础，也是我在博士生阶段的第一个课题。在学术界，有各种各样的反射模型来描述光的反射现象。但有个问题一直没解决：在不同尺度上，物体的反射特性是不一样的。

　　比如，从10厘米左右的距离观察，一颗沙粒表面的石英片是像玻璃一般的高反射表面，对应的反射函数是一个狄拉克函数；而从100米外看，一大片沙则是哑光、蓬松的，接近于朗伯表面，对应的反射函数是一个常数函数。

　　我的导师曾希望我能够建立一个统一的反射模型，把不同尺度的反射现象都统一起来。这是一个极其困难的问题。我花了几乎两年时间，才在这个问题上获得突破，并在欧洲图形学会的渲染分会上发表了博士阶段的第一篇论文。

　　反射模型是偏光学领域的问题，此后大家开始研究几何层面的问题。当时几何建模技术主要局限在对简单规则物体的建模，如汽车、家具等。如何对自然界的复杂物体建模依然未知。自然界物体的几何形状非常复杂，但往往又遵从简单的数学规则，比如斐波那契数列、分形等。数学家们很早就注意到了这些现象，加拿大一位科学家写过一本书叫《植物的算法之美》，专门研究这一问题。

　　在这个问题上，我与合作者用了三年时间，提出了第一个从照片构建植物三角网格模型的方法，在图形学领域最重要的学术会议SIGGRAPH上发表了一系列基于图像三维建模的论文。建模对象也从树木、盆栽扩大到建筑、街道，甚至整个城市。这获得了当时评委的称赞，“真是电影特效级的质量”。今天许多从航拍图像构建城市三维地图的工作就是基于类似的技术框架。

　　这些研究本质上都是为了提升虚拟世界的真实感，称得上是三维重建、渲染领域的根本问题，后期的技术发展也大多沿袭了这条道路。

　　下一代互联网

　　如今，游戏、影视和VR/AR等数字产业，在不断消化吸收关于“真实感”的研究成果，将其产品化、商业化。美国一家头部科技投资基金甚至预测，未来10年，VR/AR眼镜的出货量将大大超过智能手机。

　　未来虚拟世界到底怎样？我认为，可能是“VR/AR眼镜上的互联网”。

　　VR/AR眼镜将会推动互联网更新换代，现在的互联网应用都会在VR/AR眼镜上有新的呈现形式。从这个角度来看，过去受互联网影响非常深的通信、社交、媒体、零售，甚至支付，都很可能会迎来一场革命。这场技术革命，可以类比历史上的计算平台迁移带来的巨变。

　　从PC到手机，媒体、零售发生了很大的变化，因为屏幕变小了，过去门户网站那样分门别类的罗列方式被彻底淘汰了，取而代之的是智能推荐。甚至，电商出现了新的形态——本地生活。得益于手机定位功能，本地生活类应用可以推荐附近三公里内的餐馆和服务，完全重塑了零售服务业。

　　VR/AR时代，我们可能都会有自己的虚拟形象，在一个虚拟空间里“面对面”交流。同时，类似的微妙而又深刻的变革将再次发生，VR/AR将会革新显示和交互的底层基础。过去PC端、手机上显示交互的界面是二维的，是一个个的“窗口”，而在VR/AR眼镜上，显示交互的界面是三维的，是立体空间。在三维空间，人们可以有更直观、更沉浸式的显示，用户和内容的互动方式也会从文字、图片进化到视频、互动，发生根本性改变。

　　显示和交互是所有互联网应用的底层基础，它们的改变会带来上层应用脱胎换骨般的革命，整个互联网行业将会重新洗牌。

　　远不止于游戏

　　在这场技术革命中，最敏感的是影视与游戏公司。它们创建了非常丰富的虚拟IP和虚拟场景，让用户沉浸在各种数字内容之中。工业制造、生物医药等行业则在设计阶段大量应用虚拟数字孪生仿真技术。

　　但这不是想象力的全部。通过虚实结合，有更多现实问题可以尝试解决。我们目前也在探索一种更高效的三维重建体系，它已经应用在我们对外贸工厂、城市街道的空间重建中。

　　调研显示，当前70%~80%的B2B交易都要通过远程互动，最好能直接看到工厂和样品的三维实景。但这面临硬件设备的困局——一直以来，空间三维模型需要依托专业扫描设备、专业操作人员，投入极大的成本才可构建。

　　为了解决这个问题，XR实验室自研扫描机器，配合云端三维重建算法，快速、便捷地构建VR内容；而软硬一体的设备，普通摄影师即可操作。不久，这套技术将用于杭州文三路上部署的街景增强现实设备。

　　虚拟世界技术的另一个落地案例，是摘苹果。我国年产4000多万吨苹果，需要超过100万采摘工人，密集采摘期有2周左右。疫情当前，熟练工人无法区域流动，有些果园因为找不到足够人手，苹果直接烂在果园里。

　　达摩院XR实验室与行业生态伙伴合作，尝试结合虚拟建模与机器人技术解决这一问题。技术团队采集了大量图片，通过三维重建技术构建果园环境和植物的三维地图，训练苹果识别算法，并研制高效自动采收机器人系统。今年9月，系统开始在陕西的千阳和洛川苹果基地进行试验测试，取得了初步成效。

　　未来，随着这一仿真数字模型不断完善，机器人数字孪生体在仿真环境中不断优化作业技能，就可迁移到实体机器人进行作业。机器人在果园作业过程中也会不停地采集数据反馈给果园模型，用于实现自我更新和优化。如此一来，也许能优化一套标准化、数字化、自动化的苹果生产方式，帮助果农降本增效。

　　终局是什么？

　　不管是场景展示，还是结合机器人进行实地劳作，都只是虚拟世界技术的一种形式。XR的终局是什么？

　　笔者认为，可以把未来“虚拟世界”的技术分为四个层次。

　　第一层是全息构建，就是用三角形网格建立整个世界的外表，并在终端上显示，制造一种沉浸式的体验。当前，VR看房、看店，就是这类技术的应用。但全息构建技术深入发展，还需要对物体的内部精细结构建模，同时场景中的物体要可以被操作，结构要可以重新组合。比如，一些室内装修设计平台可以让用户随意搭配不同的家具，提前体验装修的效果。

　　第二层是全息仿真，要让虚拟世界无限逼近真实世界。虚拟世界里，水要往低处流、扔一块石头能打碎玻璃、虚拟角色对外界能作出合理反应。电影《头号玩家》展现了这一场景。这一层的技术在游戏、电影中已经有过比较多的应用，但还可以应用到更广泛的领域，如工业设计、模拟仿真等。

　　前两层的技术结合起来就能实现VR眼镜中的虚拟世界。但还有第三层、第四层。

　　第三层是虚实融合，让虚拟世界和真实世界融合起来。技术上要实现这一点就要能建立真实世界的高精三维地图，并在地图中实现厘米级精准定位、定姿，准确叠加相关信息。千人千面的基于厘米级精准定位的信息推送将无时不在、无所不在。这就能实现AR眼镜中的虚拟世界，虚拟世界和真实世界的边界从此被打破。

　　第四层是虚实联动，虚拟世界的改变能够对应到真实世界。要做到这一层需要解决机器人的问题。技术问题解决后，就可以通过第二层的全息仿真寻求问题的最优解决方案，然后通过第三层的虚实融合把方案映射到真实世界，再通过第四层的机器人技术实现在真实世界执行。

　　关于未来，人们总是有各种畅想。未来达摩院XR实验室也会在这个方向深耕，努力打破技术和想象力的边界。

　　（作者系阿里达摩院XR实验室负责人，记者赵广立整理）