构建一个 iPhone 上的 AR 形象  

将 Watson 服务部署到带有 ARKit 的 iPhone 上,在 Unity 中实现语音驱动的动画形象

| By Amara Graham

Description

本 Code Pattern 将展示如何使用部署到带有 ARKit 的 iPhone 的 Watson Assistant、Watson Speech to Text 和 Watson Text to Speech 服务,在 Unity 中实现一种具有语音支持的动画形象。得益于手机和数字眼镜中的框架兼容性,降低了开发人员和用户使用增强现实的入门门槛。

概览

Unity3d 是一个出色的游戏引擎,它已发展成为一个游戏之外的沉浸式体验平台。Unity 开发人员希望扩展他们的技能,在其项目中使用人工智能等功能。一个不错的入口点就是建立一种语音支持的聊天机器人体验。 聊天机器人和虚拟代理为以前高度脚本化的操作带来了更人性化的对话体验。尽管本 Code Pattern 展示的是只会前后走动的动画角色,但只需少量工作即可实现语音控制的行走,例如,向左或向右。用户并不是只能拥有少量语句或短语,可以配置聊天机器人来处理大量具有相同含义的短语,甚至可以让聊天机器人不断学习。 本 Code Pattern 结合使用了 3 个 Watson 服务,让您不需要直接构建或训练模型就能使用 AI。Watson Assistant、Watson Speech to Text 和 Watson Text to Speech 服务协同工作,提供一种沉浸式体验,而不会给开发人员带来复杂自然语言处理负担。

  1. 在 iPhone 上运行该应用程序并说出命令,比如“向前走”。
  2. 角色在附近的水平面上呈现出来。
  3. Watson Speech to Text 服务被触发并将音频转换为文本。
  4. 接收文本并将其发送给 Watson Assistant。
  5. Watson Assistant 准备好一条回复并将其发送给 Watson Text to Speech。
  6. 角色以口头形式进行回复,而且会触发向前走的动画。

Instructions

可以在 Readme 文件中找到此 Code Pattern 的详细步骤。这些步骤将展示如何:
  1. 从 GitHub 下载代码。
  2. 从 Unity 资产商店下载并安装 Watson SDK for Unity。
  3. 为 Watson Assistant、Watson Speech to Text 和 Watson Text to Speech 创建服务实例,并将凭证添加到 Unity 编辑器。
  4. 将 .json 文件上传到 Watson Assistant,并将工作区信息添加到 Unity 编辑器。

相关博客

相关链接

英文原文

本 Code Pattern 翻译自《Build an AR avatar for the iPhone》(2018-11-16)

创建虚拟现实语音沙箱

将 IBM Watson Speech-to-Text 和 Conversation 服务添加到一个在流行的 3D 开发平台 Unity 中构建的虚拟现实环境中。