洪流学堂,让你快人几步。你好,我是你的技术探路者郑洪智,你可以叫我大智。
本篇文章首发于我的公众号:洪流学堂
MRTK-Unity是一个由Microsoft驱动的开源项目,提供了多种组件和功能,用于加速Unity中的跨平台MR应用程序开发。以下是其一些功能:
- 提供跨平台输入系统和用于空间交互和UI组件。
- 启用快速原型通过在编辑器中的模拟,让你马上看到变化。
- 作为可扩展框架运行,为开发人员提供了交换核心组件的能力。
- 支持多种平台,包括
- HoloLens
- HoloLens 2
- Windows Mixed Reality头盔
- OpenVR头盔(HTC Vive / Oculus Rift)
- Ultraleap手部跟踪
- iOS和Android等移动设备
MRTK入门
如果您不熟悉Unity中的MRTK或Mixed Reality开发,建议从 Microsoft Docs的Unity开发旅程文档开始。Unity开发之旅是专门为使新开发人员了解MRTK的安装,核心概念和使用而量身定制的。
重要信息:Unity开发过程当前使用MRTK版本2.4.0和Unity 2019.4。 |
所需软件
Windows SDK 18362+ | Unity 2018.4.x | Visual Studio 2019 | 仿真器(可选) |
要使用MRTK v2生成应用程序,您需要Windows 10 May 2019 Update SDK。 要运行沉浸式耳机的应用程序,您需要Windows 10 Fall Creators Update。 | Unity 3D引擎为在Windows 10中构建混合现实项目提供支持 | Visual Studio用于代码编辑,部署和构建UWP应用程序包 | 模拟器可让您在模拟环境中在没有设备的情况下测试您的应用 |
功能
输入系统 | 手部追踪(HoloLens 2) | 眼动追踪(HoloLens 2) | 设置 | 手部追踪(Ultraleap) |
UI控件 | 解算器 | 多场景管理 | 空间感知 | 诊断工具 |
MRTK标准着色器 | 语音合成与识别 | 边界系统 | 编辑器内模拟 | 实验功能 |
UX组件
按钮 | 边界控制 | 对象操纵器 |
一个按钮控件,支持各种输入方法,包括HoloLens 2的带关节的手 | 用于处理3D空间中对象的标准UI | 用一只手或两只手操纵对象的脚本 |
Slate | 系统键盘 | 可交互物体 |
2D样式平面,支持通过手动输入进行滚动 | 在Unity中使用系统键盘的示例脚本 | 使对象与视觉状态和主题支持可交互的脚本 |
解算器 | 对象集合 | 工具提示 |
各种对象定位行为,例如标签沿,身体锁定,恒定的视图大小和表面磁性 | 用于以三维形状布置对象阵列的脚本 | 具有灵活锚定/轴系统的注释UI,可用于标记运动控制器和对象 |
滑杆 | MRTK标准着色器 | 手菜单 |
滑块UI,用于调整值,支持直接的手部跟踪交互 | MRTK的标准着色器支持各种Fluent设计元素,并具有出色的性能 | 手动锁定用户界面,使用“手动约束求解器”可快速访问 |
应用栏 | 指针 | 指尖可视化 |
用于Bounds Control手动激活的UI | 了解各种类型的指针 | 指尖上的视觉承受能力提高了直接交互的信心 |
近场菜单 | 空间感知 | 语音命令/听写 |
浮动菜单用户界面,用于近距离交互 | 使您的全息对象与物理环境互动 | 集成语音输入的脚本和示例 |
进度指标 | 对话框[实验] | 手势教练[实验性] |
可视指示器,用于传达数据过程或操作 | 要求用户确认或确认的UI | 在未教手势时帮助引导用户的组件 |
手部物理[实验性] | 滚动收藏 | Dock[实验性] |
手部物理服务可实现刚体碰撞事件以及与关节手的相互作用 | 原生滚动3D对象的对象集合 | Dock允许将对象移入和移出预定位置 |
眼动追踪:目标选择 | 眼动追踪:导航 | 眼动追踪:热图 |
结合眼睛,声音和手部输入,快速轻松地选择整个场景中的全息图 | 了解如何根据您的查看内容自动滚动文本或流畅地放大重点内容 | 记录,加载和可视化用户在您的应用程序中查看内容的示例 |
工具类
优化窗口 | 依赖窗口 | 构建窗口 | 输入录音 |
自动配置混合现实项目以优化性能 | 分析资产之间的依存关系并识别未使用的资产 | 为混合现实应用程序配置并执行端到端构建过程 | 在编辑器中记录和回放头部运动和手部跟踪数据 |
场景示例
在此示例场景中,探索MRTK的各种类型的交互和UI控件。
可以在Assets / MixedRealityToolkit.Examples / Demos文件夹下找到其他示例场景。
MRTK示例中心
使用MRTK示例中心,可以尝试MRTK中的各种示例场景。可以在Release Assets文件夹下找到HoloLens(x86),HoloLens 2(ARM)和Windows Mixed Reality沉浸式耳机(x64)的预构建应用程序包。使用Windows设备门户在HoloLens上安装应用程序。在HoloLens 2上,可以通过Microsoft Store应用程序下载并安装MRTK示例中心。
请参阅示例中心自述页面,以了解有关使用MRTK的场景系统和场景转换服务创建多场景中心的详细信息。
使用MRTK制作的示例应用
元素周期表是一个开源示例应用程序,演示了如何使用MRTK的输入系统和构建块为HoloLens和沉浸式耳机创建应用程序体验。阅读移植故事:通过MRTK v2将Elements的元素周期表引入HoloLens 2 | Galaxy Explorer是一个开源示例应用程序,最初作为HoloLens“分享您的想法”活动的一部分于2016年3月开发。已使用MRTK v2更新了Galaxy Explorer的HoloLens 2新功能。阅读故事:HoloLens 2的Galaxy Explorer的制作 | Surfaces是适用于HoloLens 2的开源示例应用程序,它探索了我们如何通过视觉,音频和完全铰接的手部跟踪来创造触感。在Surfaces应用程序中查看Microsoft MR Dev Days会话学习,了解详细的设计和开发故事。 |
源码链接:
https://github.com/microsoft/MixedRealityToolkit-Unity
如果以上链接无法下载或者下载太慢,可以在洪流学堂回复
MRTK
获取网盘链接。
扩展阅读
- 【Unity开源项目精选】AssetStudio:提取Unity游戏的资源
- 【Unity开源项目精选】xLua:Unity热更新首选
- 【Unity开源项目精选】Unity引擎源码的C#部分
- 【Unity开源项目精选】Entitas:Unity DOTS的先行者
- 【Unity开源项目精选】UniRx:Unity中的响应式编程
我是大智,你的技术探路者,下次见!
别走!点赞,收藏哦!
好,你可以走了。
网友评论