Se você perdeu o lançamento do Call for Code 2021, sem problemas! Saiba mais clicando aqui

Extraia insights de vídeos usando o IBM Watson

Praticar o distanciamento social faz parte das orientações da Organização Mundial da Saúde para limitar a maior disseminação da COVID-19. Como resultado, as empresas das áreas mais afetadas estão adotando medidas de precaução, incentivando o trabalho em casa, e os institutos educacionais estão fechando suas instalações. Os funcionários que trabalham de casa devem estar cientes do que está acontecendo na empresa e devem poder colaborar com suas equipes. Além disso, os alunos que estão estudando de casa devem estar atualizados em sua educação.

Com a ajuda da tecnologia, os funcionários podem continuar colaborando e se envolver com seu trabalho em reuniões virtuais. Já as escolas e os professores podem continuar interagindo com os alunos por meio de salas de aula virtuais. Essas reuniões podem ser gravadas e gerar insights a partir delas pode ser benéfico para os usuários. Para fazer isso, esta solução explica:

  • Como extrair áudio de gravações de vídeo
  • Como desenvolver um modelo personalizado de conversão de fala em texto que possa produzir uma saída textual do áudio na forma de um diário
  • Como usar o processamento de linguagem natural avançado junto com o IBM® Watson™ Tone Analyzer para extrair insights de arquivos de texto

Esta solução demonstra como extrair insights de vídeos, principalmente de reuniões e vídeos de sala de aula. Ela apresenta insights como categoria, entidade, conceito, palavras-chave, sentimentos, emoções, principais frases positivas e nuvens de palavras. A imagem abaixo mostra uma visão geral das diferentes partes desta solução.

amostra de resultado

Fluxo de arquitetura

arquitetura

  1. O usuário carrega no aplicativo o arquivo de vídeo gravado da reunião virtual ou de uma sala de aula virtual.
  2. A biblioteca FFmpeg extrai áudio do arquivo de vídeo.
  3. O áudio extraído é armazenado no IBM Cloud Object Storage.
  4. O serviço Watson Speech to Text transcreve o áudio para apresentar um resultado textual na forma de diário.
  5. O Tone Analyzer analisa a transcrição e coleta as principais frases positivas.
  6. O Watson Natural Language Understanding lê a transcrição para identificar os principais pontos e registrar sentimentos e emoções.
  7. Os principais pontos e o resumo do vídeo são apresentados ao usuário no aplicativo, além de serem armazenados no IBM Cloud Object Storage.
  8. Em seguida, o usuário pode baixar os insights textuais.

Os code patterns desta solução são desenvolvidos com base em dados da gravação da reunião IBM Earnings Call do 1º trimestre de 2019. Nós analisamos a chamada sobre rendimentos e geramos insights textuais baseados no vídeo.

Os code patterns explicam como combinar os serviços de conversão de fala em texto com o Watson Natural Language Understanding e o Tone Analyzer para gerar insights textuais de um vídeo.

Extrair áudios de vídeos

cp1

No code pattern Extrair áudios de vídeos, você aprenderá as etapas para:

  • Criar um bucket do IBM Cloud Object Storage
  • Carregar os dados dos arquivos de vídeo no bucket
  • Extrair áudio dos arquivos de vídeo e armazená-lo no bucket
  • Baixar os arquivos de áudio

Desenvolver um modelo personalizado de conversão de fala em texto com recursos de criação de diário do palestrante

cp2

No code pattern Desenvolver um modelo personalizado de conversão de fala em texto com recursos de criação de diário do palestrante, você aprenderá as etapas para:

  • Treinar um modelo de linguagem personalizado com um arquivo de corpus
  • Treinar um modelo acústico personalizado com arquivos de áudio do bucket
  • Transcrever os arquivos de áudio do bucket e obter um resultado textual na forma de diário
  • Armazenar a transcrição no bucket

Usar processamento de linguagem natural avançado e análise de tom para extrair insights significativos

cp3

No code pattern Usar processamento de linguagem natural avançado e análise de tom para extrair insights significativos, você aprenderá as etapas para:

  • Carregar o arquivo de transcrição do bucket
  • Selecionar as entidades a serem extraídas da transcrição
  • Obter um relatório de compreensão de linguagem natural com entidade, conceito, categoria, palavras-chave, sentimentos e emoções com processamento de linguagem natural avançado
  • Obter as cinco principais frases positivas com o Tone Analyzer
  • Obter uma nuvem de palavras baseada em substantivos, adjetivos e verbos
  • Imprimir o relatório de compreensão de linguagem natural

Extrair insights de vídeos

cp4

No code pattern Extrair insights de vídeos, você aprenderá as etapas para:

  • Carregar qualquer arquivo de vídeo no aplicativo
  • Obter um resultado textual do arquivo de vídeo na forma de diário
  • Obter um relatório de compreensão de linguagem natural com entidade, conceito, categoria, palavras-chave, sentimentos e emoções com processamento de linguagem natural avançado
  • Obter as cinco principais frases positivas com o Tone Analyzer
  • Obter uma nuvem de palavras baseada em substantivos, adjetivos e verbos
  • Imprimir o relatório de compreensão de linguagem natural

Também é possível ver vídeos de todos os quatro code patterns na playlist Extrair insights de vídeos com o IBM Watson no YouTube.