Participe da Maratona Behind the Code! A competição de programação que mais te desafia! Inscreva-se aqui

Acelere o deep learning e o aprendizado de máquina

Este artigo faz parte da série Caminho de aprendizado: noções básicas do Watson Machine Learning Accelerator.

Introdução

O IBM Watson® Studio e o IBM Watson Machine Learning (WML) do IBM Cloud Pak® for Data se combinam com o IBM Watson Machine Learning Accelerator para criar uma plataforma de inteligência artificial empresarial para acelerar o processo de treinamento de modelos. A plataforma oferece mais velocidade e precisão para gerar valor e reduzir o tempo que leva para lançar um modelo no mercado. O treinamento de modelos com o WML Accelerator é acelerado pela GPU e pode ser escalado automaticamente, o que permite a alocação de mais GPUs, quando necessário. Um cientista de dados pode receber resultados mais rapidamente e atingir o nível de precisão necessário com nossa plataforma de inteligência artificial empresarial. As tecnologias funcionam em conjunto, como exibido abaixo:

  • O IBM Watson Studio e o WML do IBM Cloud Pak for Data oferecem as ferramentas necessárias para desenvolver, treinar e implementar modelos.
  • O WML Accelerator otimiza a velocidade do treinamento, automatizando as buscas paralelas de hiperparâmetros.
  • O WML Accelerator inclui um mecanismo Elastic Distributed Training, que ajuda a distribuir o treinamento de modelos entre várias GPUs e nós de computação. A distribuição dos trabalhos de treinamento é flexível, o que significa que as GPUs são alocadas dinamicamente e que adicionar ou remover GPUs não interrompe os trabalhos em execução. Como o planejador aloca as GPUs dinamicamente, não é necessário codificar a topologia da GPU no modelo. Em vez disso, o Elastic Distributed Training lida com a distribuição dos modelos desenvolvidos em sistemas independentes e torna a distribuição visível para o cientista de dados.

Neste artigo, você aprenderá a:

  • Configurar e ativar a ligação entre o IBM Watson Studio do IBM Cloud Pak for Data e o IBM WML Accelerator.
  • Usar métodos para enviar as cargas de trabalho de deep learning do IBM Watson Studio para o IBM WML Accelerator, inclusive automatizando a busca de hiperparâmetros dos modelos por meio da API Rest do WML Accelerator, distribuindo o treinamento de forma flexível com o mecanismo Elastic Distributed Training por meio da interface de usuário Experiment Builder do Watson Studio e treinando e implementando um modelo por meio do cliente WML Python, usando a API do WML.

Como instalar e configurar

Para instalar e configurar o IBM Watson Studio e o IBM WML Accelerator, considere estas opções. Aprenda sobre a Instalação com WML ou Watson Studio e sobre a configuração da ligação entre o IBM Watson Studio do IBM Cloud Pak for Data e o IBM WML Accelerator.

Figura 1. Configuração e definições Configuração e definições

Como usar

Dependendo da configuração de seu cluster do WML Accelerator, há várias formas de utilizar o WML Accelerator para o envio de cargas de trabalho de deep learning. Se você tem apenas um cluster do WML Accelerator não conectado ao Watson Studio e ao Watson Machine Learning, pode acessar a API do WML Accelerator diretamente. No entanto, se seu cluster do WML Accelerator estiver conectado ao Watson Studio e ao WML do IBM Cloud Pak for Data, você terá formas adicionais disponíveis para enviar a carga de trabalho de deep learning.

Figura 2. Prática recomendada Prática recomendada

As principais diferenças entre esses métodos são o acesso subjacente ao WML Accelerator. Ele pode ser acessado diretamente pela API do WML Accelerator ou pela API do WML.

API do Watson Machine Learning Accelerator

Se estiver usando a API REST do WML Accelerator diretamente, será possível iniciar seu Jupyter Notebook acessando o cluster do WML Accelerator usando uma conexão de rede estabelecida diretamente por essa API Rest. O Jupyter Notebook pode estar em qualquer plataforma, como localmente em seu notebook ou fazendo parte de uma configuração maior, como o Watson Studio do Cloud Pak for Data.

Experimente o notebook anexo, que demonstra a automação da busca de hiperparâmetros de modelos por meio da API Rest do WML Accelerator.

É possível encontrar mais detalhes sobre a API Rest do WML Accelerator no IBM Knowledge Center:

API do Watson Machine Learning

Os dois próximos métodos estarão disponíveis somente quando houver uma conexão entre o IBM Cloud Pak for Data e o WML Accelerator. Os dois usam a API do WML indiretamente, seja usando o cliente Python do Watson ML ou o Experiments Builder do Watson Studio.

Cliente Python do Watson ML

Este método se baseia em um Jupyter Notebook como parte do Watson Studio do Cloud Pak for Data. Ele usa a API do WML, que pode ser acessada diretamente por meio do código da API ou do cliente Python.

Experimente o notebook CPD 2.5.0 e o notebook CPD 3.0.1, que executam o cliente Python do WML para treinar o modelo com o WML Accelerator e implementar o modelo com o serviço de pontuação do WML.

É possível encontrar mais detalhes sobre o cliente Python do WML na documentação do Watson ML.

Experiment Builder do Watson Studio

Este método usa a API do WML indiretamente. É um método que usa a interface do usuário do Watson Studio. Nele, assim que os dados são implementados e que o código da carga de trabalho do treinamento é criado, os modelos podem ser criados na interface do usuário Experiment Builder do Watson Studio. Com as bibliotecas certas de compartilhamento de métricas em vigor, é possível até mesmo ver relatórios de precisão das execuções de treinamento.

Consulte a interface do usuário Experiment do Watson Deep Learning para enviar treinamentos distribuídos para obter mais informações.

Conclusão

O IBM Watson Studio e o IBM WML do IBM Cloud Pak for Data 3.0.1, junto com o IBM WML Accelerator 1.2.2, criam uma sólida base para a plataforma de inteligência artificial empresarial. Essa base pode ajudar você a ter resultados mais rapidamente e melhorar o nível de precisão dos modelos. Neste artigo, descrevemos como é possível acelerar o treinamento de modelos com o WML Accelerator usando várias metodologias. Para obter mais detalhes, consulte a documentação do IBM Cloud Pak for Data 3.0.1 e do Watson Machine Learning Accelerator 1.2.2.