est exactement ce que je fais ici mon projet de l'an dernier :) sauf une chose que mon projet est sur le suivi de la hauteur de la voix humaine de chant (et je n'ai pas le robot jouer le morceau)
Une autre considération est la source audio. Si vous allez faire de la FFT et y appliquer un spectre de produits harmoniques. Vous devrez vous assurer que l'entrée n'a qu'une seule source audio. S'il contient plusieurs sources comme dans les chansons modernes, il y aura beaucoup de fréquences à considérer.
harmonique du spectre produit Theory
Si le signal d'entrée est une note musicale, alors son spectre devrait être composé d'une série de pics correspondant à fréquence fondamentale avec harmoniques composants à des multiples entiers de la fréquence fondamentale . Par conséquent quand nous compressons le spectre un nombre de fois (sous-échantillonnage), et le comparons avec le spectre original, nous pouvons voir que le plus fort harmonique pointe la ligne vers le haut. Le premier pic dans le spectre original coïncide avec le deuxième pic dans le spectre compressé par un facteur de deux, ce qui coïncide avec le troisième pic dans le spectre comprimé d'un facteur de trois. Par conséquent, lorsque les divers spectres sont multipliés ensemble, le résultat forme un pic net à la fréquence fondamentale .
Méthode
d'abord, on divise le signal d'entrée en segments par application d'une fenêtre de Hanning, où la taille de fenêtre et la taille de houblon sont donnés à titre d'une entrée. Pour chaque fenêtre, , nous utilisons la transformée de courte durée Fourier pour convertir le signal d'entrée du domaine temporel au domaine de fréquence . Une fois que l'entrée est dans le domaine fréquentiel , nous appliquons la technique Harmonic Product Spectrum à chaque fenêtre.
Le HPS comporte deux étapes: sous-échantillonnage et multiplication. Pour downsample, nous comprimons le spectre deux fois dans chaque fenêtre par rééchantillonnage: la première fois, nous compressons le spectre original par deux et le deuxième fois, par trois. Une fois ceci terminé, nous multiplions les trois spectres et trouvons la fréquence correspondant au pic (valeur maximale). Cette fréquence particulière représente la fréquence fondamentale de cette fenêtre particulière.
Limites de la méthode HPS
Quelques fonctionnalités intéressantes de cette méthode comprennent: il est informatiquement bon marché, résistant raisonnablement additif et du bruit multiplicatif et réglable pour différents types de entrées. Par exemple, nous pourrions changer le nombre de spectres compressés à utiliser, et nous pourrions remplacer la multiplication spectrale avec une addition spectrale . Cependant, étant donné que la perception du pas humain est fondamentalement logarithmique, cela signifie que les pas faibles peuvent être suivis avec moins de précision que les hauteurs .
Un autre grave pénurie de la méthode HPS est qu'il sa résolution est aussi bonne que la longueur de la FFT utilisée pour calculer le spectre. Si nous effectuer une FFT courte et rapide, nous sommes limitée dans le nombre de fréquences discrètes nous pouvons considérer. Pour pour obtenir une résolution plus élevée dans notre sortie (et donc voir moins grain dans notre sortie de lancement), nous besoin de prendre une FFT plus longue qui nécessite plus de temps.
Comment cela traite-t-il de l'inharmonie des vrais instruments? Les harmoniques sont de plus en plus aigus par rapport aux multiples idéaux, plus haut vous allez. – endolith