RT @y_matsuwitter: 200万トークンを処理可能という論文を読んでいた。基本的なアイディアは同じ著者から昨年出ていたRecurrent memory Transformerを活用したもの。Transformer-XLが引き合いに出されていたけど、これと同じように入力文をいくつかのセグメントに分けて別々なTransformerで処理していくような仕組み。… https://t.co/NY7QTl490Y