comment manipuler le texte et l'image d'entrée ensemble dans l'algorithme de réseau de neurones

Question

Je travaille sur un algorithme d'apprentissage automatique du réseau de neurones. je voulais savoir les formats de données d'entrée applicables dans la liste des fonctionnalités NN. est-il possible de gérer l'image du texte & ensemble comme une entrée dans CNN ou en utilisant un autre algorithme d'apprentissage automatique. comment vais-je donner un sens à la sortie.

Answer 1

Oui, il est possible de traiter les données de texte et d'images ensemble. Les vecteurs de caractéristiques créés à l'aide de chaque texte point de données ou de l'image point de données peuvent être combinées et utilisées en parallèle comme un nouveau grand vecteur caractéristique. Après vectorisation de données texte, il n'y a pas beaucoup de différence entre les vecteurs de pixels et les vecteurs de texte. Spécifiquement dans le cas de CNN, pour le modèle final, un réseau neuronal combiné peut être créé qui a une branche convolutive un sur le côté tandis que les mots vectorisés se ramifient de l'autre côté.

image Crédits: This l'image de Christopher Bonnett de article

Pour plus de détails, s'il vous plaît se référer à l'article mentionné ci-dessus. Il a expliqué comment les produits de commerce électronique peuvent être classés dans différentes hiérarchies de catégories en utilisant à la fois des données d'image et de texte.