• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• BART日本語Pretrainedモデル へ行く。
  • 1 (2020-10-26 (月) 11:59:22)
  • 2 (2020-10-26 (月) 12:05:08)
  • 3 (2020-10-28 (水) 14:37:01)
  • 4 (2020-11-10 (火) 10:40:36)
  • 5 (2020-11-11 (水) 14:02:50)
  • 6 (2021-03-16 (火) 19:55:58)
  • 7 (2021-03-17 (水) 09:51:27)

BART日本語Pretrainedモデル †

BARTは、encoder-decoder型のpretrainingモデルで、BARTの公式サイトでは英語pretrainedモデルと多言語pretrainedモデルが公開されています。

今回、日本語テキストのみを使ってpretrainingしましたので公開します。

詳細 †

• 入力テキスト: 日本語Wikipedia全て (約1800万文、半角を全角に正規化)
  • Juman++ (v2.0.0-rc3) で形態素に分割し、さらにSentencePieceでsubwordに分割したもの
• Base: 6 encoder-decoder layers, 768 hidden, Large: 12 encoder-decoder layers, 1024-hidden
• Base: 50万step, Large: 25万step
  • Baseは4GPU (Tesla V100) で約2週間、largeは約1ヶ月
• 語彙数: 32,000
• batchサイズ: 512

使用法 †

次のページを参照してください。

• 注意: 上記ページのコマンドはfairseqをforkしたリポジトリのjapanese_bart_pretrained_modelブランチのコードが必要です。

ライセンス †

MIT License

更新履歴 †

• 2020/10/28 公開