機械学習モデルのパフォーマンス評価  

Watson コグニティブ・サービスのさまざまなモデルを比較して、各種のパフォーマンス指標を入手する

| By Srikanth Manne, Muralidhar Chavan, Naveen Sharma, Mohammad Arshad

Description

特定のタスクに対処するために、数多くの機械学習モデルが作成されています。このコード・パターンでは、特定のデータ・セットに対してより効果的に機能するモデル、そして特定のニーズに最適なモデルを判断できるよう、Watson コグニティブ・サービスのさまざまなモデルを比較する方法を紹介します。このコード・パターンは、モデルを構成してデータを入力し、そのモデルを実行して、パフォーマンス評価の統計を作成するためのプラットフォームになります。

Overview

Watson サービスのようなコグニティブ・サービスでは、多数の AI シナリオに対処しています。しかも機械学習の世界では、さまざまなタスクに対処するために、多種多様なモデルが作成されています。これだけ多くのモデルを利用できるようになっている中、どのモデルを使用すべきか、あるいはどのモデルがより効果的に機能するかを判断するにはどうすればよいでしょう?正しく言うと、特定のニーズに最適なモデルを判断するにはどうすればよいかという質問です。このコード・パターンでは、Watson コグニティブ・サービスのモデルのパフォーマンス評価と比較について詳しく説明します。このコード・パターンで紹介する Watson Model Evaluation Workbench は、コグニティブ・モデルを構成、実行、テストし、パフォーマンス評価指標を準備して、混同行列や ROC 曲線などのパフォーマンス統計を計算するためのプラットフォームになります。特定のデータ・セットに対するパフォーマンスは、それぞれのモデルによって異なります。このコード・パターンを利用して、ニーズに最適なモデルを判断してください。

Flow

  1. ユーザーがアプリケーションを起動します。
  2. クラウドがリクエストの認証を行い、アプリケーションにリクエストをリダイレクトします。
  3. モデルを評価するために入力されたデータを解析します。
  4. アダプターを起動して、Natural Language Classifier や Natural Language Understanding などのコグニティブ・サービスを呼び出します。
  5. コグニティブ・モデル・サービスの構成を解析します。
  6. コグニティブ・サービスに接続します。
  7. コグニティブ・サービスからレスポンスが返されます。
  8. 期待される結果を実際の結果と比較して、パフォーマンスを評価します。
  9. パフォーマンス結果がクライアント・デバイスに返されます。
  10. UI 上にパフォーマンス分析が表示されます。

Instructions

このパターンの詳細な手順については、README を参照してください。手順の概要は以下のとおりです。

  1. 前提条件を決定します。
  2. コグニティブ・モデルを作成します。
  3. アプリケーションを IBM Cloud にデプロイします。
  4. アプリケーションをローカル・マシンにデプロイします。
  5. アプリケーションを実行します。
  6. 結果を分析します。

Related Blogs

Call for Code 2019 応募に向けて個別オンライン相談会の予約受付開始

皆さん、こんにちは。IBM デベロッパーアドボケイト戸倉彩です。 グローバルハッカソンは目標をもって仲間と一緒 […]

続けて読む Call for Code 2019 応募に向けて個別オンライン相談会の予約受付開始

Related Links