通过UE4 的 INTEL REALSENSE 插件以新的方式观察世界
Intel 一直都对引入创新的工具和科技感兴趣,这些工具能够为世界上热情的内容开发者增加能量。如果你还不甚了解,Intel RealSense camera 在普通的 RGB 照片和视频技术上,采用红外光线来计算深度。为了帮助开发这个技术的应用程序,Intel 创建了 RealSense SDK,一个用来做可视化算法的库,包括面部识别,图片碎片化,以及 3D 扫描。
由于看到了这个技术在游戏中的潜在应用,我们现在来为大家介绍 RealSense 插件,这是 Intel 的游戏工程师们合作的产物,将 RealSense SDK 中的各种特性提供出来以便在虚幻 4 的蓝图可视化脚本系统中使用。
插件概述
这个插件是一组 Actor 组件的形式存在,每个组件封装了 RealSense SDK 中的一些特定的功能。通过使用这些相对轻量的组件,可以为游戏中几乎每种 Actor 添加 3D 的感应能力,并且访问这些数据也很简单,只需要对同一个组件在初始化一个实例即可。
插件组建
目前,插件有三个 RealSense 组件:
- Camera Streams 组件: 提供 RealSense 摄像头的原始颜色和深度的视频流。
- 3D 扫描组件: 支持真实世界的物体扫描,以及人脸扫描(如上图)。
- 头部跟踪组件(预览): 支持对用户头部的位置和角度的检测和跟踪。
接着很快就会更新,可以期待该插件即将到来的更多组建:
- 头部跟踪组件(完整版): 用于检测和跟踪高达 76 面部标志点,脉搏速率,和面部表情附加功能。
- 背景碎片组件: 将图片的前景和背景分离开,为实时视频创建“绿幕”的效果(如上图)。
- 场景扫描组件: 对大场景(约 2m x 2m 的区域)生成 3D 模型来协助创建用户生成的内容并加强现实世界的体验(如下图)。
- 手部跟踪组件: 检测并跟踪 22 个手部标志点,识别 14 种手势,或者跟踪一个点来作为鼠标类型的交互响应。
- 语音识别组建: 将输入语音转换为文本来翻译,或者用于检测关键字来作为语音控制功能输入。
- 上一篇:Unity3d网络通信 - NetWork组件使用 2019/5/28
- 下一篇:HOLOLENS的SOCKET网络通讯1 2019/5/23