BART日本語Pretrainedモデル †
BARTは、encoder-decoder型のpretrainingモデルで、BARTの公式サイトでは英語pretrainedモデルと多言語pretrainedモデルが公開されています。
今回、日本語テキストのみを使ってpretrainingしましたので公開します。
詳細 †
- 入力テキスト: 日本語Wikipedia全て (約1800万文、半角を全角に正規化)
- Juman++ (v2.0.0-rc3) で形態素に分割し、さらにSentencePieceでsubwordに分割したもの
- Base: 6 encoder-decoder layers, 768 hidden, Large: 12 encoder-decoder layers, 1024-hidden
- Base: 50万step, Large: 25万step
- Baseは4GPU (Tesla V100) で約2週間、Largeは約1ヶ月
- 語彙数: 32,000
- batchサイズ: 512
使用法 †
次のページを参照してください。
- 注意: 上記ページのコマンドはfairseqをforkしたリポジトリのjapanese_bart_pretrained_modelブランチのコードが必要です。
- 追記
- 2021/03/16 : v2.0をアップロードしました。v1とはpretraining時のタスクの種類が異なります。v1のタスクはtext infillingのみ、v2はtext infillingとsentence permutationを行っています。
- 2020/11/10 : Base v1.0のモデルに不備があり、pretrainingが不十分なモデルだったため、修正したBase v1.1をアップロードしました。(Large v1.0に不備はありません。)
ライセンス †
MIT License
参考文献 †
- 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫: 日本語Wikipediaの編集履歴に基づく入力誤りデータセットと訂正システムの改良, 言語処理学会第27回年次大会, 2021.
更新履歴 †
- 2021/03/17 参考文献の追加
- 2021/03/16 v2.0をアップロード
- 2020/11/10 Baseのv1.1をアップロード
- 2020/10/28 公開
