虹软科技空间计算技术驱动新一代空间计算平台
2024-01-26 11:29:38 作者：姚立伟
据最新消息，虹软科技从标定、感知、交互和视觉呈现等方向全方位创新，构建了一套完整的空间计算技术，为下一代移动平台，尤其是XR智能终端在空间感知、视觉呈现、人机交互以及数字内容方面的发展提供强有力的支持。
虹软空间感知技术：构建虚拟与现实协同融合的关键引擎
感知用户所处空间是实现虚拟世界与真实环境融合的基础和必要条件。虹软空间计算技术涵盖了多重空间感知解决方案，包括一站式多传感器标定解决方案、头显6DoF跟踪、平面检测、稠密重建、语义分析、深度估计、实时3D Mesh重建、vSlam空间定位与地图构建等。这一系列解决方案可为XR设备提供高效的环境感知能力，使虚拟元素与现实世界实现完美交融。
虹软一站式多传感器标定：在XR领域中，多个传感器之间准确、高精度的协同工作离不开复杂的标定过程。基于此，虹软提供业界全面覆盖且性能领先的一站式多传感器标定解决方案，解决多传感器数据协同的难题。高效的标定算法可以快速准确地调整各传感器的参数，使它们在实际运行中协同工作，为XR设备提供准确、稳定的感知数据。
虹软头显 6DoF跟踪：用户头部姿态跟踪是头戴式显示设备的核心功能之一，虹软的头显6DoF跟踪解决方案通过整合多传感器信息，实时跟踪用户头部六自由度运动，包括旋转和平移的自由度，使用户体验更为真实、自然，为用户带来更高的沉浸感。
多维度空间感知：通过平面检测、稠密重建、语义分析、深度估计、实时 3D Mesh 重建、vSlam空间定位与地图构建等多重技术，虹软的空间感知技术实现了多维度的空间感知能力。vSlam空间定位与地图构建通过实时处理摄像头捕捉的视频流，识别并跟踪设备在现实世界中的位置，同时构建一个精确的环境地图。实时 3D Mesh 重建则通过一系列的图像或传感器数据，实时生成用户周围环境的三维网格表示。这使得XR设备能够更加准确地感知并重建用户所处空间的实时三维模型，为虚拟元素提供了精准的定位和更逼真的交互体验。这些技术的协同工作，确保了虚拟元素与现实世界的无缝衔接，提升了整体XR体验的真实感和沉浸感。
虹软交互技术：全面的互动引擎
虹软空间计算技术中的交互技术涵盖了手柄 6DoF 跟踪、裸手 3D 手势交互、视线跟踪以及虚拟数字人表情驱动、人体驱动等多项交互解决方案，为XR提供了全新的人机交互模式。与过去在平面屏幕上的模拟3D不同，这种交互模式将用户置身于真实的3D空间中，感受到沉浸式人机交互体验。
手眼协同的沉浸式交互：虹软基于裸手 3D 手势与视线跟踪技术，构建了一种创新的手眼协同的沉浸式交互解决方案。这一方案为用户提供了仅依靠XR设备的传感器（如ToF、多mono、多RGB）而不依赖其他物理设备的自由操控方法， 通过手势和视线的完美配合，即可完成各种复杂交互任务。例如，用户可以通过注视感兴趣的内容，然后通过简单的自然手势动作完成选择、拖动或放大缩小等操作。这种手眼协同的设计让用户更加自然地融入虚拟场景，为XR的交互带来了更为综合、灵活的操控体验。
手柄 6DoF 跟踪：虹软的手柄 6DoF 跟踪技术通过实时捕捉手柄六个自由度的运动，即旋转和平移，为用户提供更为自由和精准的虚拟操控体验。这一技术不仅提供了强大的工具支持，更为用户创造了更为深度和灵活的虚拟交互环境，显著提升用户在XR中的沉浸感。
虚拟数字人表情驱动、人体驱动：通过捕捉用户的面部表情和身体动作，虹软的交互技术实现了更为生动、自然的虚拟数字人交互解决方案。这一解决方案不仅赋予用户更丰富的表达能力，同时增强了虚拟体验与真实生活的连接，提供了更为深刻和真实的用户参与感。
虹软视觉呈现技术：完美的画面显示
视觉呈现是决定用户体验的关键因素之一。画面的流畅性与舒适性一直是XR领域用户体验的核心，虹软空间感知技术通过提供视频透视（VST: Video See-Through）、异步时间扭曲等先进的视觉呈现解决方案，为XR终端提供完善的视觉显示。
视频透视（VST: Video See-Through）：虹软的视频透视技术通过智能调整视频内容的投影方式，使其与用户在虚拟空间中的位置和方向相匹配。视频透视解决方案可以使虚拟元素更加真实地嵌入到用户的视野中，增强虚拟与现实的交融感。
异步时间扭曲：异步时间扭曲解决方案主要是实现对每个眼睛的图像进行独立渲染和扭曲，以适应用户头部在虚拟环境中的运动。虹软异步时间扭曲解决方案不仅提高了虚拟现实体验的流畅性，同时避免了因头部运动而引起的晕眩感，为用户创造了更加舒适、真实的虚拟感知。
虹软数字内容生成技术：XR内容新生产力
数字内容生成技术正在成为XR内容创造新的生产力，虹软空间计算技术包含了数字人创建、3D视频成像、AIGC内容生成等丰富的数字内容生成技术，可为XR提供更为丰富、引人入胜的内容体验。
虹软AI数字人创建：借助虹软先进的3D建模技术，虹软的数字人创建解决方案可创作出从外貌、表情、动作等多个维度均与现实世界相仿的数字人物。数字人创建再结合虹软数字人动画驱动技术还可以准确捕捉和模拟人类面部表情、身体动作和语音特征，创造出媲美真人的虚拟角色。这使得在XR场景中呈现出更加生动、具有情感共鸣的数字人成为可能。
3D视频成像：虹软的3D视频成像解决方案可将用户通过普通双摄/多摄像头智能手机拍摄的内容以3D全景的方式呈现，为用户提供更为沉浸式的体验。这项技术能够捕捉真实世界场景的立体信息，使用户感觉置身其中。
AIGC内容生成：AIGC技术是虹软在数字内容生成方面的重要创新，通过积极布局视觉大模型+XR相关技术，虹软利用ArcMuse技术引擎产生图片、视频、数字人以及3D内容等，为XR眼镜载体提供便捷、优质的内容生成引擎。这种内容生成方式不仅为内容创造提高了效率，同时也为创作者带来更多创作灵感，推动XR内容创作的创新力。
通过这些创新技术，虹软空间计算技术将不断推动XR领域的发展，为用户带来更真实、更丰富的虚拟体验。