新しい IBM Developer JP サイトへようこそ!サイトのデザインが一新され、旧 developerWorks のコンテンツも統合されました。 詳細はこちら

IBM Debater® Claim Sentences Search

概要

主張とは、議論によって証明することを目的とした短いフレーズのことです。Claim Sentence Search タスクの目標は、データ・テーブルのトピックまたは動議に基づいて、大規模なコーパスから主張が含まれるセンテンスを検出することにあります。このデータセットに格納されている、q_mc クエリーの結果 (Wikipedia の記事で取り上げている特定のトピックが含まれるセンテンス) には、149万個のセンテンスが含まれています。さらに、モデルで予測された上位 2,500 個のセンテンスとそのラベルからなる、主張を含むセンテンスのテスト・セットも含まれています。これらのセンテンスは、2017 年の Wikipedia から取得したものです。

このデータセットには、次のものが含まれています。

  • readme_mc_queries.txt – 主張を含むセンテンスの検索結果に関する Readme
  • readme_test_set.txt – テスト・セットに関する Readme
  • q_mc_train.csv – 70 件のトレーニング・トピックに対し、q_mc クエリーによって取得されたセンテンス
  • q_mc_heldout.csv – 30 件の抵抗トピックに対し、q_mc クエリーによって取得されたセンテンス
  • q_mc_test.csv – 50 件のテスト・トピックに対し、q_mc クエリーによって取得されたセンテンス
  • test_set.csv – システムによる上位の予測とそのラベル

3 つの CSV ファイル (q_mc_train.csvq_mc_heldout.csvq_mc_test.csv) 内の各センテンスには、次の列が含まれています。

  1. id – トピック ID (注 (1) の記事の付録で指定されている ID)
  2. topic – 動議のトピック
  3. mc – Wikipedia でのトピックの主要なコンセプト
  4. sentence
  5. query_pattern – そのセンテンスと一致するクエリー・パターン
  6. score – そのセンテンスでの DNN スコア (0 ~ 1 の範囲)
  7. label – そのセンテンスのゴールド・ラベル (肯定的なセンテンスは 1、否定的なセンテンスは 0)
  8. url – ソースとなっている Wikipedia 記事のリンク

CSV ファイル test_set.csv 内の各センテンスには、次の列が含まれています。

  1. id – トピック ID (注 (1) の記事の付録で指定されている ID)
  2. topic – 動議のトピック
  3. mc – Wikipedia でのトピックの主要なコンセプト
  4. sentence
  5. query_pattern – そのセンテンスと一致するクエリー・パターン
  6. score – そのセンテンスでの DNN スコア (0 ~ 1 の範囲)
  7. label – そのセンテンスのゴールド・ラベル (肯定的なセンテンスは 1、否定的なセンテンスは 0)
  8. url – ソースとなっている Wikipedia 記事のリンク

データセットのメタデータ

形式 ライセンス ドメイン レコード数 サイズ 公開日
CSV
CC-BY-SA 3.0 自然言語処理 1,490,000
571MB 2018 年 8 月 20 日

サンプル・レコード

# From the q_mc_heldout.csv file (the q_mc_train and q_mc_test have s similar format):
# id,topic,mc,sentence,suffix,prefix,url

86,Randomized controlled trials bring more harm than good,Randomized controlled trial,"(Smith & Iadarola, 2015) Several recent studies on Floortime were cited in the article including the recent randomized clinical trial studies.", studies.,"(Smith & Iadarola, 2015) Several recent studies on Floortime were cited in the article including the recent ",https://en.wikipedia.org/wiki/Floortime

# From the test_set.csv file:
# id,topic,mc,sentence,query_pattern,score,label,url

136,The American Bar Association brings more harm than good,American Bar Association,"In 1989 the ABA's House of Delegates adopted a resolution stating that "the American Bar Association and each of its entities should use gender-neutral language in all documents establishing policy and procedure."",q_strict,0.951,0,https://en.wikipedia.org/wiki/American_Bar_Association

抜粋

@inproceedings{levy-etal-2018-towards,
title = "Towards an argumentative content search engine using weak supervision",
author = "Levy, Ran and
Bogin, Ben and
Gretz, Shaiand
Aharonov, Ranit and
Slonim, Noam",
booktitle = "Proceedings of the 27th International Conference on Computational Linguistics",
month = aug,
year = "2018",
address = "Santa Fe, New Mexico, USA",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/C18-1176",
pages = "2066--2081",
abstract = "Searching for sentences containing claims in a large text corpus is a key component in developing an argumentative content search engine. Previous works focused on detecting claims in a small set of documents or within documents enriched with argumentative content. However, pinpointing relevant claims in massive unstructured corpora, received little attention. A step in this direction was taken in (Levy et al. 2017), where the authors suggested using a weak signal to develop a relatively strict query for claim{--}sentence detection. Here, we leverage this work to define weak signals for training DNNs to obtain significantly greater performance. This approach allows to relax the query and increase the potential coverage. Our results clearly indicate that the system is able to successfully generalize from the weak signal, outperforming previously reported results in terms of both precision and coverage. Finally, we adapt our system to solve a recent argument mining task of identifying argumentative sentences in Web texts retrieved from heterogeneous sources, and obtain F1 scores comparable to the supervised baseline.",
}

関連リンク

  • Project Debater は、複雑なトピックについて人間とディベートできる初の AI システムです。このプロジェクトの目標は、人々が説得力のある討論を行った上で、十分な情報に基づく意思決定を行えるよう支援することです。Project Debater でのモデルのトレーニングには、このデータセットが活用されました。