L'informatique conditionnelle est-elle possible avec Tensorflow?

Question

Je travaille sur un framework de calcul conditionnel utilisant MxNet. Supposons que nous avons N échantillons dans notre minibatch. Je dois d'exécuter ce genre d'opérations dans mon graphe de calcul, en utilisant pseudocode:

x = graph.Variable("x") 
y = graph.DoSomeTranformations(x) 
# The following operation generates a Nxk sized matrix, k responses for each sample. 
z = graph.DoDecision(y) 
for i in range(k): 
    argmax_sample_indices_for_i = graph.ArgMaxIndices(z, i) 
    y_selected_samples = graph.TakeSelectedSample(y, argmax_sample_indices_for_i) 
    result = graph.DoSomeTransformations(y_selected_samples) 

Ce que je veux atteindre est la suivante: après l'obtention de y, j'applique une fonction de décision (cela peut être un D à k Couche entièrement connectée, où D est la dimension de données) et obtenir k activations pour chaque échantillon dans ma minibatch de taille N. Ensuite, je veux diviser dynamiquement mon minibatch en k parties différentes (k peut être 2, 3, un petit nombre), basé sur l'index de la colonne de l'activation maximale pour chaque échantillon. Ma hypothétique fonction "graph.ArgMaxIndices" fait que, étant donné z, une matrice de taille Nxk, et i, la fonction recherche les indices d'échantillon qui donnent les activations maximales le long de la colonne i et retourne leurs indices. (Notez que je cherche n'importe quelle série ou combinaison de fonctions qui donne le résultat équivalent à "graph.ArgMaxIndices", pas une seule fonction, spécifiquement). Puis enfin, pour chaque i, je sélectionne les échantillons avec des activations maximales et leur applique des transformations spécifiques. Actuellement, à ma connaissance, MxNet ne supporte pas ce genre de calculs conditionnels dans leurs réseaux symboliques. Par conséquent, je construis des graphiques symboliques séparés après chaque décision et ai dû coder ma comptabilité séparée - structures de graphe conditionnel pour chaque division de minibatch, qui produit 1) Code très complexe et encombrant pour maintenir et développer 2) Performance de course dégradée pendant la formation et l'évaluation.

Ma question est, puis-je faire ce qui précède à l'aide des opérateurs symboliques de tensorflow? Permet-il de sélectionner des sous-ensembles de la minibatch, en fonction d'un critère? Y at-il une fonction ou une série de fonctions qui est équivalente à la "graphique.ArgMaxIndices" dans le pseudo-code ci-dessus? (Étant donné une matrice Nxk et un index de colonne i, renvoie les indices de lignes, qui ont l'activation maximale à la colonne k).

Answer 1

Vous pouvez le faire en tensorflow.

La meilleure façon que je vois est d'utiliser un masque et tf.boolean_maskk fois, avec le masque i -ème étant donné par tf.equal(i, tf.argmax(z, axis=-1))

x = graph.Variable("x") 
y = graph.DoSomeTranformations(x) 
# The following operation generates a Nxk sized matrix, k responses for each sample. 
z = graph.DoDecision(y) 
max_indices = tf.argmax(z, axis=-1) 
for i in range(k): 
    argmax_sample_indices_for_i = tf.equal(i, max_indices) 
    y_selected_samples = tf.boolean_mask(y, mask=argmax_sample_indices_for_i) 
    result = graph.DoSomeTransformations(y_selected_samples)