O Apache Kafka é uma plataforma de streaming distribuída. Ele é formado pelos seguintes componentes: Broker, Producer, Consumer, Admin, Connect e Streams.
Objetivos de aprendizado
Neste workshop, você aprenderá a desenvolver um pipeline de streaming de ponta a ponta usando Apache Kafka, Kafka Connect e Kafka Streams.
Você aprenderá a:
- Configurar as ferramentas de linha de comando do Kafka
- Criar, listar e descrever tópicos usando a ferramenta
kafka-topics.sh - Consumir registros com a ferramenta
kafka-console-consumer.sh - Produzir registros com a ferramenta
kafka-console-producer.sh - Descrever grupos de consumidores com a ferramenta
kafka-consumer-group.sh - Configurar e executar o tempo de execução do Kafka Connect no modo distribuído
- Configurar e executar o conector Kafka FileStreamsSourceConnector
- Executar um aplicativo Kafka Streams
Pré-requisitos
- CLI do Apache Kafka
- Java SDK, Versão 8 ou superior
- gradle, Versão 6 ou superior
Tempo estimado
A conclusão deste workshop deverá levar cerca de uma hora.
Etapas
- Instalar e configurar um cluster Kafka
- Enviar e consumir mensagens
- Integrar dados com o Kafka Connect
- Processar dados com o Kafka Streams
Etapa 1: Instalar e configurar um cluster Kafka
Na parte 1 deste workshop, você configurará um cluster Kafka:
- Usando o IBM Event Streams na IBM Cloud
- Usando um cluster Kafka com três brokers em uma máquina local
Etapa 2: Enviar e consumir mensagens
Na parte 2 deste workshop, você usará a CLI do Kafka para criar um tópico, enviar algumas mensagens e consumir algumas mensagens. Também aprenderá a configurar um grupo de consumidores.
Etapa 3: Integrar dados com o Kafka Connect
Na parte 3 deste workshop, você configurará o tempo de execução do Kafka Connect para seu ambiente:
- Para o IBM Event Streams na IBM Cloud
- Para um cluster Kafka local
Em seguida, você vai configurar, iniciar e testar o conector.
Etapa 4: Processar dados com o Kafka Streams
Na parte 4 deste workshop, você aprenderá a usar o Kafka Streams para processar streams de dados em tempo real usando o aplicativo de amostra integrado.
Resumo
Neste workshop, você aprendeu a desenvolver um pipeline de streaming de ponta a ponta, com dados fluindo de um sistema externo para o Apache Kafka e, depois, sendo processados em tempo real. Explorando os principais conceitos e componentes do Apache Kafka neste workshop, é possível desenvolver ambientes confiáveis, escaláveis e com bom desempenho.
Próximas etapas
Talvez você esteja pronto para experimentar um destes tutoriais e Padrões de código para aprimorar suas aptidões de Kafka:
- Tutorial: Desenvolva programas Java para produzir e consumir mensagens de e para o Apache Kafka usando as APIs do Kafka Producer e do Kafka Consumer
- Tutorial: Como desenvolver um processador de stream com o Apache Kafka usando o Kafka Streams
- Padrão de código: Determine os tópicos em alta com análise de sequência de cliques usando Apache Spark e Apache Kafka