Comment utiliser efficacement tf.bucket_by_sequence_length dans Tensorflow?

Question

J'essaie donc d'utiliser tf.bucket_by_sequence_length() de Tensorflow, mais je n'arrive pas à comprendre comment le faire fonctionner. Fondamentalement, il devrait prendre des séquences (de différentes longueurs) en entrée et avoir des ensembles de séquences en sortie, mais cela ne semble pas fonctionner de cette façon. De cette discussion: https://github.com/tensorflow/tensorflow/issues/5609 J'ai l'impression qu'il a besoin d'une file d'attente pour alimenter cette fonction, séquence par séquence. Ce n'est pas clair cependant.

documentation de fonction se trouve ici: https://www.tensorflow.org/versions/r0.12/api_docs/python/contrib.training/bucketing#bucket_by_sequence_length

Answer 1

En effet vous avez besoin tenseur d'entrée à une file d'attente, qui peut être par exemple un tf.FIFOQueue().deque() ou un tf.TensorArray().read(tf.train.range_input_producer()).

Ce portable qui explique très bien:

https://github.com/wcarvalho/jupyter_notebooks/blob/ebe762436e2eea1dff34bbd034898b64e4465fe4/tf.bucket_by_sequence_length/bucketing%20practice.ipynb