Acompanhe online o evento final da Maratona Behind the Code 2020 Inscreva-se já!

Automatize a verificação pós-desastre usando drones para promover a comunicação off-line

Este padrão de código faz parte do 2020 Call for Code Global Challenge.

Resumo

Drones se tornaram ferramentas essenciais para socorristas em missões de busca e resgate. Nesse padrão de código, você aprenderá como usar o reconhecimento visual para detectar e identificar mensagens de S.O.S. em imagens aéreas.

Descrição

O ano de 2017 superou o recorde de desastres naturais. Dos furacões Maria, Irma e Harvey até incêndios devastadores nas florestas da Califórnia. Pessoas no mundo inteiro sofrem com tsunamis, tornados, inundações, deslizamentos de terra, terremotos e erupções vulcânicas – sem mencionar todos os desastres causados pelo homem.

As imagens aéreas se tornaram cruciais para as missões de busca e resgate e operações de assistência em catástrofes. No entanto, nem todos têm acesso a um helicóptero ou a satélites, portanto, os drones se tornaram uma ferramenta essencial para capturar fotos aéreas de maneira rápida e barata.

Este padrão de código mostra como concluir as seguintes tarefas:

  • Usar o Cloud Annotation para treinar um modelo de reconhecimento visual para identificar símbolos de ajuda universais (como “S.O.S”) usando a detecção de objetos.
  • Transmitir e capturar o feed de vídeo de um drone Tello.
  • Configurar um aplicativo da web para executar a previsão com relação ao feed de vídeo e visualizar um painel dos resultados.

Fluxo

Fluxograma da arquitetura de reconhecimento visual pós-desastre

  1. O usuário gera imagens de amostra usando o Lens Studio.
  2. O usuário faz upload das imagens para o Cloud Annotations, que treina um modelo e, em seguida, exporta um modelo TensorFlow.js.
  3. O usuário inclui o modelo TensorFlow.js no aplicativo da web.
  4. O usuário conecta o drone Tello ao computador e inicia o aplicativo da web.
  5. O feed de vídeo do drone é capturado pelo aplicativo da web.
  6. Os quadros do vídeo são analisados pelo modelo TensorFlow.js.
  7. A IU do aplicativo da web exibe a análise de reconhecimento visual.

Instruções

Preparado para experimentar? Localize as etapas técnicas detalhadas para esse padrão de código no README.md e SETUP.md.

  1. Use realidade aumentada para gerar o conjunto de imagens.
  2. Treine o modelo.
  3. Implemente o painel.