RT @stomohide: GoogleがmC4(多言語Webコーパス)を出してくれていたが、自分で前処理が必要、かつ、例えば日本語のみを使うということができないので、使うのをあきらめていて、かわりにFacebookのcc100を使っていた。
が、AllenAIがmC4を各言語ごとにダウンロードできるようにしてくれた。
https://t.co/yr9nVjl6OO