Introdução ao Apache Kafka

O Apache Kafka é uma plataforma de streaming distribuída. Ele é formado pelos seguintes componentes: Broker, Producer, Consumer, Admin, Connect e Streams.

Diagrama de arquitetura para componentes do Apache Kafka

Objetivos de aprendizado

Neste workshop, você aprenderá a desenvolver um pipeline de streaming de ponta a ponta usando Apache Kafka, Kafka Connect e Kafka Streams.

Diagrama de arquitetura do pipeline de streaming de ponta a ponta

Você aprenderá a:

  • Configurar as ferramentas de linha de comando do Kafka
  • Criar, listar e descrever tópicos usando a ferramenta kafka-topics.sh
  • Consumir registros com a ferramenta kafka-console-consumer.sh
  • Produzir registros com a ferramenta kafka-console-producer.sh
  • Descrever grupos de consumidores com a ferramenta kafka-consumer-group.sh
  • Configurar e executar o tempo de execução do Kafka Connect no modo distribuído
  • Configurar e executar o conector Kafka FileStreamsSourceConnector
  • Executar um aplicativo Kafka Streams

Pré-requisitos

Tempo estimado

A conclusão deste workshop deverá levar cerca de uma hora.

Etapas

  1. Instalar e configurar um cluster Kafka
  2. Enviar e consumir mensagens
  3. Integrar dados com o Kafka Connect
  4. Processar dados com o Kafka Streams

Etapa 1: Instalar e configurar um cluster Kafka

Na parte 1 deste workshop, você configurará um cluster Kafka:

Etapa 2: Enviar e consumir mensagens

Na parte 2 deste workshop, você usará a CLI do Kafka para criar um tópico, enviar algumas mensagens e consumir algumas mensagens. Também aprenderá a configurar um grupo de consumidores.

Etapa 3: Integrar dados com o Kafka Connect

Na parte 3 deste workshop, você configurará o tempo de execução do Kafka Connect para seu ambiente:

Em seguida, você vai configurar, iniciar e testar o conector.

Etapa 4: Processar dados com o Kafka Streams

Na parte 4 deste workshop, você aprenderá a usar o Kafka Streams para processar streams de dados em tempo real usando o aplicativo de amostra integrado.

Resumo

Neste workshop, você aprendeu a desenvolver um pipeline de streaming de ponta a ponta, com dados fluindo de um sistema externo para o Apache Kafka e, depois, sendo processados em tempo real. Explorando os principais conceitos e componentes do Apache Kafka neste workshop, é possível desenvolver ambientes confiáveis, escaláveis e com bom desempenho.

Próximas etapas

Talvez você esteja pronto para experimentar um destes tutoriais e Padrões de código para aprimorar suas aptidões de Kafka: