开源技术 * IBM 微讲堂:Kubeflow 系列(观看回放 | 下载讲义) 了解详情

Archived | 构建一个 iPhone 上的 AR 形象

本文已归档

归档日期:: 2019-08-12

此内容不再被更新或维护。 内容是按“原样”提供。鉴于技术的快速发展,某些内容,步骤或插图可能已经改变。

摘要

本 Code Pattern 将展示如何使用部署到带有 ARKit 的 iPhone 的 Watson Assistant、Watson Speech to Text 和 Watson Text to Speech 服务,在 Unity 中实现一种具有语音支持的动画形象。得益于手机和数字眼镜中的框架兼容性,降低了开发人员和用户使用增强现实的入门门槛。

概览

Unity3d 是一个出色的游戏引擎,它已发展成为一个游戏之外的沉浸式体验平台。Unity 开发人员希望扩展他们的技能,在其项目中使用人工智能等功能。一个不错的入口点就是建立一种语音支持的聊天机器人体验。

聊天机器人和虚拟代理为以前高度脚本化的操作带来了更人性化的对话体验。尽管本 Code Pattern 展示的是只会前后走动的动画角色,但只需少量工作即可实现语音控制的行走,例如,向左或向右。用户并不是只能拥有少量语句或短语,可以配置聊天机器人来处理大量具有相同含义的短语,甚至可以让聊天机器人不断学习。

本 Code Pattern 结合使用了 3 个 Watson 服务,让您不需要直接构建或训练模型就能使用 AI。Watson Assistant、Watson Speech to Text 和 Watson Text to Speech 服务协同工作,提供一种沉浸式体验,而不会给开发人员带来复杂自然语言处理负担。

流程

flow

  1. 在 iPhone 上运行该应用程序并说出命令,比如“向前走”。
  2. 角色在附近的水平面上呈现出来。
  3. Watson Speech to Text 服务被触发并将音频转换为文本。
  4. 接收文本并将其发送给 Watson Assistant。
  5. Watson Assistant 准备好一条回复并将其发送给 Watson Text to Speech。
  6. 角色以口头形式进行回复,而且会触发向前走的动画。

操作说明

可以在 readme 文件中找到此 Code Pattern 的详细步骤。这些步骤将展示如何:

  1. 从 GitHub 下载代码。
  2. 从 Unity 资产商店下载并安装 Watson SDK for Unity。
  3. 为 Watson Assistant、Watson Speech to Text 和 Watson Text to Speech 创建服务实例,并将凭证添加到 Unity 编辑器。
  4. 将 .json 文件上传到 Watson Assistant,并将工作区信息添加到 Unity 编辑器。

本文翻译自:Build an AR avatar for the iPhone(2018-11-16)