• バックアップ一覧
• 現在との差分 を表示
• ソース を表示
• バックアップ を表示
• 日本語SNLI(JSNLI)データセット へ行く。
  • 1 (2020-07-15 (水) 22:23:42)
  • 2 (2020-07-15 (水) 23:03:08)
  • 3 (2020-07-17 (金) 15:11:11)
  • 4 (2020-07-17 (金) 19:59:12)
  • 5 (2020-07-18 (土) 12:46:22)
  • 6 (2020-07-21 (火) 14:43:45)
  • 7 (2020-07-24 (金) 14:57:51)
  • 8 (2020-10-05 (月) 11:47:26)
  • 9 (2020-10-05 (月) 21:52:00)
  • 10 (2020-12-03 (木) 11:59:41)

• 追加された行はこの色です。
• 削除された行はこの色です。

* 日本語SNLI(JSNLI)データセット [#lc2a2611]

本データセットは英語の自然言語推論(NLI)データセットであるSNLI(Stanford Natural Language Inference)を日本語に機械翻訳したデータセットです。評価データはクラウドソーシングによって正確なデータセットになるようにフィルタリングを行い、学習データは計算機によって効率的にフィルタリングを行いました。
本データセットは自然言語推論 (NLI) の標準的ベンチマークである [[SNLI:https://nlp.stanford.edu/projects/snli/]] を日本語に翻訳したものです。SNLI に機械翻訳を適用した後、評価データに人手による正確なフィルタリング、学習データに計算機による自動フィルタリングを施すことで構築されています。

データセットは前提、仮説のペアとそれに対応する3つのラベル(entailment, contradicton, neutral)からなっています。以下に例を挙げます。
データセットは TSV フォーマットで、各行がラベル、前提、仮説の三つ組を表します。前提、仮説は JUMAN++ によって形態素分割されています。以下に例をあげます。

 entailment      自転車 で ２ 人 の 男性 が レース で 競い ます 。       人々 は 自転車 に 乗って います 。

一行が1ペアで、カラムはTab区切りになっています。また、前提、仮説はJUMAN++によってそれぞれ単語毎にスペース区切りされています。
学習データは536,120ペア、評価データは3,917ペアです。詳細は参考文献を参照してください。


- 1カラム目     ラベル
- 2カラム目     前提
- 3カラム目     仮説

学習データは536,120ペア、評価データは3,917ペアです。詳細については参考文献を参照してください。


** ダウンロード [#wb2254b1]
- [[日本語SNLI(JSNLI)データセット(13.5MB):http://nlp.ist.i.kyoto-u.ac.jp/DLcounter/lime.cgi?down=http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/JSNLI/jsnli.zip]]
- [[日本語SNLI (JSNLI) データセット (13.5MB) :http://nlp.ist.i.kyoto-u.ac.jp/DLcounter/lime.cgi?down=http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/JSNLI/jsnli.zip]]

** 更新履歴 [#j9b68652]
- 2020/07/16 公開
- 2020/07/15 公開


** 参考文献 [#s6dbeb9b]
 
吉越 卓見, 河原 大輔, 黒橋 禎夫:
機械翻訳を用いた自然言語推論データセットの多言語化,
第244回自然言語処理研究会,  (2020.7.3).