Textsum (tensorflow): Erreur d'assertion lors de l'utilisation du fichier de vocabulaire généré à partir du jeu de données

Question

J'ai un léger problème d'exécution sur les données CNN. Le fichier de vocabulaire généré en utilisant le code ci-dessus donne une erreur d'assertion. Je ne suis pas capable de comprendre ce qui cause ce problème.

C'est l'erreur que je reçois:

Traceback (most recent call last): 
File “/home/umair/sumModel/bazel-bin/textsum/seq2seq_attention.runfiles/__main__/textsum/seq2seq_attention.py”, line 213, in <module> 
tf.app.run() 
File “/usr/local/lib/python2.7/dist-packages/tensorflow/python/platform/app.py”, line 30, in run 
sys.exit(main(sys.argv)) 
File “/home/umair/sumModel/bazel-bin/textsum/seq2seq_attention.runfiles/__main__/textsum/seq2seq_attention.py”, line 165, in main 
assert vocab.CheckVocab(data.SENTENCE_START) > 0 
AssertionError 

la fonction seq2seq_attention.py:

def principale (unused_argv): = vocab data.Vocab (FLAGS.vocab_path, 10000000) Vérifier la présence des jetons spéciaux requis. assert vocab.CheckVocab (data.PAD_TOKEN)> 0 assert vocab.CheckVocab (data.UNKNOWN_TOKEN)> = 0 affirmer vocab.CheckVocab (data.SENTENCE_START)> 0 assert vocab.CheckVocab (data.SENTENCE_END)> 0 -

Answer 1

Et à propos de ça? Vous en manquez quelques-uns dans votre vocabulaire, c'est-à-dire SENTENSE_START.

# Special tokens 
PARAGRAPH_START = '<p>' 
PARAGRAPH_END = '</p>' 
SENTENCE_START = '<s>' 
SENTENCE_END = '</s>' 
UNKNOWN_TOKEN = '<UNK>' 
PAD_TOKEN = '<PAD>' 
DOCUMENT_START = '<d>' 
DOCUMENT_END = '</d>' 

source: https://github.com/tensorflow/models/blob/master/textsum/data.py