Archived | 创建虚拟现实语音沙箱

本文已归档

归档日期:: 2019-08-08

此内容不再被更新或维护。 内容是按“原样”提供。鉴于技术的快速发展,某些内容,步骤或插图可能已经改变。

摘要

本 Code Pattern 演示了如何只使用以下两个 Watson 服务为虚拟现实环境构建先进的交互式语音系统:用于将人类语音转换为书面文本的服务 Watson Speech-to-Text 和 用于解析词语含义 Watson Assistant。了解如何利用 Watson Unity SDK 在 Unity 开发环境中正确使用这些服务。

概览

虚拟现实 (VR) 环境可让用户感觉他们真实地呆在一个完全不同的空间内。在 VR 环境中,相比其他交互方式,语音交互更自然一些。您不想停下来盯着一个控件,也不愿意去输入一个命令;您只想沉浸在那一刻。声控指令能避免外部干扰,并为用户提供全新的沉浸维度。

通过学习如何将语音控件添加到 VR 环境中,您可以构建更丰富的沉浸式交互体验,从而提升自身技能以迎接下一次重大的技术变革。完成本 Code Pattern 后,您将掌握如何将 IBM Watson Speech-to-Text 和 Watson Assistant 服务添加到在 Unity(受欢迎的 3D 开发平台)中构建的虚拟现实环境。

目前有几款很受欢迎的 VR 头戴式设备,可以为用户提供强大的沉浸式体验。其受欢迎程度以及多功能性使它们成为语音交互的理想之选。本 Code Pattern 演示了如何为 Google Cardboard 和 HTC Vive(两款最受欢迎的头戴式 VR 设备)实现语音控件。

流程

flow

  1. 用户在虚拟现实中进行交互,并提供诸如“创建一个大黑盒”之类的语音命令。
  2. 虚拟现实硬件麦克风接收语音命令,然后由正在运行的应用程序将该命令发送至 Watson Speech-to-Text。
  3. Watson Speech-to-Text 将该音频转换为文本,然后将该文本返回到虚拟现实硬件。
  4. 应用程序将该文本发送至 Watson Assistant。Watson Assistant 将返回已识别的意图“创建”以及实体“大”、“黑色”和“盒子”。然后,虚拟现实应用程序将显示一个黑色的大盒子(从天而降)。

本文翻译自:Create a virtual reality speech sandbox(2018-05-14)