XLNet

XLNetとは

深層学習を用いた自然言語処理のモデルの１つです。
昨今話題となっていたBERTを、追い越す勢いで最近現れました。

仕組み的には、BERTが行っている、文章の順方向・逆方向の両方からの
処理を行えるという点と、LSTMなどの自己回帰言語モデルが行っている、
文脈での単語の依存関係を処理できるという機能を上手く取り入れているようです。

Googleの検索エンジンに、BERTを取り入れたという、
話題が昨日ありましたが、まだまだ自然言語処理も、
改善の余地がありそうです。