使用无人机自动进行灾后检查以促进离线通信

本 Code Pattern 属于 2020 年 Call for Code 全球挑战赛范畴。

摘要

在搜救任务中，无人机已经成为急救人员必不可少的工具。在此 Code Pattern 中，您将了解如何利用视觉识别检测和标记航拍图像中的求救信息。

概览

2017 年，自然灾害频频发生，早已打破了以往的历史记录。从玛丽亚、埃尔玛和哈维飓风，到加州毁灭性的森林大火，世界各地的人们都饱受着海啸、龙卷风、洪水、山崩、地震和火山爆发等自然灾害的侵袭，更不用说那些人为灾难了。

航拍图像已经成为搜救任务和救灾行动的关键。然而，并不是每个人都能使用直升机或卫星，因此无人机已经成为快捷而廉价地拍摄空中照片的重要工具。

本 Code Pattern 向您演示了如何完成以下任务：

• 使用 Cloud Annotation 来训练视觉识别模型，通过对象检测来识别通用的求救符号（比如“S.O.S”）。
• 流式传输和捕获 Tello 无人机发回的视频。
• 配置一个 Web 应用对视频输入运行预测，并查看包含结果的仪表板。

流程

1. 用户使用 Lens Studio 生成图像样本。
2. 用户将图像上传到 Cloud Annotations，在训练模型后导出一个 TensorFlow.js 模型。
3. 用户将这个 TensorFlow.js 模型添加到 Web 应用程序中。
4. 用户将 Tello 无人机连接到计算机并启动 Web 应用程序。
5. Web 应用程序捕获无人机视频输入。
6. TensorFlow.js 模型对视频帧进行分析。
7. Web 应用 UI 显示视觉识别分析情况。

操作说明

已准备好开始试用？可以在 README.md 和 SETUP.md 中找到有关此 Code Pattern 的详细技术步骤。

1. 使用增强现实技术生成图像集。
2. 训练模型。
3. 部署仪表板。

本文翻译自：Automate post-disaster check using drones to foster offline communication（2019-10-17）