Comment utiliser tensor2tensor pour classer du texte?

Question

Je veux faire une classification de texte binaire en utilisant tensor2tensor seulement avec attention et pas de couches de prétraitement LSTM ou CNN. Je pense que le modèle transformer_encoder est le meilleur pour moi, mais je ne trouve aucun problème ou Hparams prédéfinis. Quelqu'un peut-il me donner un exemple de classification de texte en utilisant tensor2tensor ou un autre conseil?

Answer 1

Je recommande la suite de leur problème sentiment_imdb, puisque l'analyse des sentiments est un problème de classification de texte:

https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/data_generators/imdb.py

Ils ont également une brève section sur la formation d'un transformer_encoder à ce problème sur la page principale:

https://github.com/tensorflow/tensor2tensor#sentiment-analysis