IBM Developer Japan Webサイトは2021年3月15日をもって終了となり、日本語コンテンツの一部は、オープンソースとして、提供予定です。 URLはこちら

Code Pattern

Watson OpenScale でモデルをモニタリングする

IBM Cloud Pak for Data 上の IBM Watson Machine Learning を利用して機械学習モデルをトレーニング、作成、デプロイする

Save Like
コードを入手する

著者 Scott D'Angelo, Lukasz Cmielowski
公開日 2019年10月4日

このコード・パターンは、「IBM Cloud Pak for Data 入門」と「Watson OpenScale 入門」の両方のラーニング・パスを構成するコンテンツになっています。

概要

このコード・パターンでは、IBM Cloud Pak® for Data 上の Watson® Machine Learning を利用して、ドイツ信用格付けデータを基に機械学習モデルをトレーニング、作成、デプロイします。Watson OpenScale™ でこのモデル用のデータマートを作成し、そのデプロイメントをモニタリングするように OpenScale を構成します。次に、7 日分に相当する履歴レコードと測定値を注入して OpenScale Insights ダッシュボード内で表示します。

説明

このパターンで使用するデータセットには、各種ユーザーの信用取引申請書に関する情報が含まれています。将来の債務不履行のリスクを予測するには、Watson Machine Learning で深層ニューラル・ネットワークを使って機械学習モデルを作成し、そのモデルをデプロイして予測に使用できます。信用度採点には機密性が伴うため、IBM Cloud Pak for Data が提供するオンプレミス・ソリューションに最適な使用ケースです。

IBM Cloud Pak for Data に ML モデルをデプロイすれば、Watson OpenScale によってモニタリングできます。持続的な使用によって、管理者は生成されるデータを基にモデルの品質を確認し、データセットの特徴のうち、リスク採点にとりわけ大きく影響する特徴について説明をすることができます。さらにバイアス検出を構成すると、モデルによる予測の公平性についての洞察を得られます。このすべての情報は、OpenScale ダッシュボード内で表示して詳細に調べることができます。

このコード・パターンをひと通り完了すると、以下の方法がわかるようになります。

  • IBM Cloud Pak for Data 上の IBM Watson Machine Learning を利用して機械学習モデルを作成、デプロイする
  • Watson OpenScale データマートをセットアップする
  • Watson Machine Learning を Watson OpenScale データマートにバインディングする
  • サブスクリプションをデータマートに追加する
  • サブスクライブしたアセットに対して、ペイロードのロギングとパフォーマンス・モニタリングを有効にする
  • 品質 (精度) モニターを有効にする
  • 公平性モニターを有効にする
  • Watson Machine Learning を利用してドイツ信用格付けモデルを採点する
  • 履歴ペイロード、公平性指標、品質指標をデータマートに挿入する
  • データマートを使用し、サブスクリプションを介してテーブルのデータにアクセスする

フロー

フロー

  1. 開発者が IBM Cloud Pak for Data 上で Jupyter Notebook を作成します。
  2. IBM Cloud Pak for Data 上の OpenScale を、Watson OpenScale の保管先 Db2® データベースに接続します。
  3. Jupyter Notebook を Watson Machine Learning に接続して、モデルをトレーニングし、デプロイします。
  4. Jupyter Notebook で Watson OpenScale を利用して、ペイロードをログに記録し、パフォーマンス、品質、公平性をモニタリングします。
  5. OpenScale で Watson Machine Learning モデルのパフォーマンス、公平性、品質、説明可能性をモニタリングします。

手順

このコード・パターンに取り組む準備はできましたか？詳しい手順については、README ファイルを参照してください。手順の概要は以下のとおりです。

  1. リポジトリーを複製します。
  2. 新規プロジェクトと開発環境を作成します。
  3. Jupyter Notebook 内に OpenScale を構成します。
  4. OpenScale のダッシュボードを使用します。

まとめ

このコード・パターンでは、IBM Cloud Pak for Data 上の Watson Machine Learning を利用して機械学習モデルをトレーニング、作成、デプロイする方法を説明しました。このコード・パターンはラーニング・パス「IBM Cloud Pak for Data 入門」シリーズの一部です。

このパターンはラーニング・パス「Getting started with Watson OpenScale」の一部にもなっています。このラーニング・パスに引き続き従うには、シリーズ「機械学習モデルを構成し、モニタリングし、理解する」に進んでください。