Comment utiliser les fonctionnalités/descripteurs SIFT comme entrée pour la formation SVM?

Question

Je veux classer les images IRM d'une tumeur cérébrale bénigne et maligne en utilisant C++. J'utilise des fonctionnalités SIFT et le papier que je suis en train de les regrouper en utilisant des kmeans avant d'entraîner le classificateur SVM. Ce que je ne comprends pas, c'est pourquoi est-ce qu'il y a un besoin de faire ça? D'après ce que je sais, les kméens ne font que regrouper les caractéristiques; cela ne change pas la taille de l'entrée.

J'ai lu que les méthodes possibles sont BoW et l'histogramme. Dans l'approche de l'histogramme, il compte juste le nombre de fonctionnalités dans chaque cluster droit? Je ne pense pas que cela fournira l'information dont j'ai besoin pour classer les tumeurs bénignes et malignes parce qu'elles peuvent être à la fois petites et grandes. Dans l'approche BoW, je n'ai pas compris cela link. Fondamentalement, je ne sais pas quoi faire avec mes fonctionnalités SIFT pour l'utiliser comme entrée pour SVM. Est-ce que je dois vraiment créer un dictionnaire quelconque? Je vous en supplie, s'il vous plaît, éclairez-moi. Merci beaucoup!

Answer 1

Je ne connais pas très bien les fonctionnalités OpenCV ou SIFT, mais cela devrait être assez général pour être utile à tous les langages de programmation. Je ne décrirai également que l'approche BoW ci-dessous.

Supposons que nous avions N images. Pour chaque image i, nous avons F nombre de fonctionnalités, et chaque fonctionnalité avait D dimensions. Nous pouvons mettre toutes les fonctionnalités dans un tableau feats, de sorte qu'il ressemble à ceci:

[1, 2, ..., D] 
[..., ..., ..., D] 
[N*F, ..., ..., D] 

Chaque rangée de feats est une caractéristique, avec D dimensions, et nous avons un total de N*F caractéristiques. En k-means, nous prenons toutes ces fonctionnalités et les regroupons en k clusters. Par conséquent, chaque fonctionnalité est affectée à un seul cluster. La plupart des fonctions k-means renvoient typiquement une matrice C de taille k x D, qui représente les centroïdes des clusters. Cette matrice C est le "dictionnaire" ou "dictionnaire" de l'algorithme k-means. Certains renvoient également un vecteur de taille N*F qui indique le cluster auquel chaque entité est assignée (dans OpenCv, ceci est représenté par la variable labels dans ce lien: http://www.developerstation.org/2012/01/kmeans-clustering-in-opencv-with-c.html).

Puisque nous avons déjà les affectations de toutes les fonctionnalités, chaque image i a des caractéristiques F, qui peuvent être simplement représentées par les groupes auxquels elles appartiennent. Par exemple, si l'image originale était représentée comme

[1, 2, ..., D] 
[..., ..., ..., D] 
[F, ..., ..., D] 

alors l'image peut également être représentée simplement comme un vecteur:

[1] % Assignment of feature 1 
[...] 
[F] % Assignment of feature F 

Par conséquent, vous pouvez prendre ce vecteur et former un histogramme h du grappes qui sont représentées. Cet histogramme est le vecteur de caractéristiques de l'image, que vous pourrez ensuite utiliser dans le SVM.

P.S. Si vous avez besoin de plus de précisions et/ou d'un exemple, faites le moi savoir!