Touch Type in VR Without Physical Keyboards
Facebook研究实现
VR世界中无实体键盘打字
虚拟现实
Virtual Reality
Credit: immersivelearning.news
当VR和AR不再局限于娱乐活动，当人们可以在虚拟现实中办公、双手直接操控系统界面和网页，同时实时可以看见头显外真实世界的情况——上班将变得不再枯燥，一切操作都会更加趣味。心动吗？一起来看看未来的办公场景有多酷！
视频介绍了Facebook正为Oculus Quest研发的AR办公功能Infinite Office。基于AR透视和键盘定位，在虚拟办公世界中，通过触碰真实世界中的键盘，使用者可以在虚拟现实中进行快速输入。
前不久，Facebook’s Reality Labs（FRL）公布了一项手部追踪的新研究，旨在为AR/VR用户带来无需真实键盘的全虚拟输入。
机器学习
Machine Learning
在虚拟现实世界中实现无实物盲打对于研发人员无疑是一件极具挑战的事，缺少了物理键盘的触摸感和力反馈，使用者打字准确性会相对下降。为解决这一问题，研究人员开始了复杂的机器训练。
机器学习简单来说可总结为如下流程：
1 | 确认机器学习目标 |
2 | 获取数据并评估是否符合训练测试标准 |
3 | 清洗数据并建模 |
4 | 导入训练数据，训练模型 |
5 | 模型诊断与调优 |
6 | 导入验证数据，验证模型并分析误差 |
7 | 模型融合 (后端) |
8 | 使用原生新数据进行测试 |
在数据收集一环，对于虚拟世界中无实物盲打的研究，Facebook FRL需要收集大量人类打字时的习惯手势数据。为获取这些数据，FRL使用了高精度的手势追踪系统，这套系统由OptiTrack运动捕捉摄像机、定制的动捕手套及Motive运动捕捉软件等构成。
Credit: immersivelearning.news
数据收集过程中，操作台上方安装有OptiTrack运动捕捉摄像机，研究人员需佩戴VR头显、手戴附有标记点的运动捕捉手套，坐在平面操作台前。打字时研究人员可以从VR头显中看见自己的双手和虚拟键盘，并进行输入操作，此时运动捕捉摄像机对其打字时的手部动态进行高精度捕捉，并将这些历史运动捕捉数据传输至电脑以供后期人员手动进行数据筛选和清洗。
Facebook研究人员说道：“结合语言模型进行训练，机器可以预测人们在手势不明确的情况下想要输入的内容。使用这种新方法，在任意一个平面上，打字员在无键盘输入的情况下平均每分钟可打73个单词，取得了与物理键盘输入相同的速度和准确性，未修正错误率仅为2.4%。”
由于Oculus Quest和Quest 2已经可以实现AR交互，这意味着用户可以通过头显外部的摄像头摄录，实时在VR头显中看到真实世界中自己的双手。
Credit: immersivelearning.news
也正是基于此性能，相信在不久的将来，在机器被训练到足够应对普通用户日常打字需求的程度时，通过VR头显外部的摄像头捕捉用户手势动作，头显可有效预测该用户即将输入的文字，就像目前Oculus Quest和Quest 2一样。脱离了实体键盘后，由于已进行了大量的输入手势学习，机器的输入精准度会大幅提高，而且用户在任何平面都可进行触摸输入，不再需要真实键盘作为输入载体。
Credit: immersivelearning.news
这项基于OptiTrack手部追踪的虚拟现实输入研究仍在进行当中，随着时间推移，机器训练的程度加深，VR世界中的输入将更加人性化、高效和精准。也许不久的将来，当我们戴上VR头显进入虚拟世界中时，即可脱离任何实物载体自由操作系统、高效输入文本，进行日常工作和娱乐活动。科幻电影中的虚拟现实时代下的场景已初见苗头，这无疑是件令人格外兴奋和憧憬的事。
