Analyse audio pour partitions

Question

Je travaille actuellement sur un programme qui analyse un fichier wav d'un musicien soliste jouant d'un instrument et détecte les notes qu'il contient. Pour ce faire, il effectue une FFT, puis regarde les données produites. Le but est de (à un certain point) produire la partition en écrivant un fichier midi. Je voulais juste obtenir quelques opinions sur ce qui pourrait être difficile à ce sujet, si quelqu'un l'a déjà essayé, peut-être quelques choses qu'il serait bon de rechercher. Pour le moment, mon plus gros problème est que toutes les notes ne sont pas une seule fréquence et que je ne peux pas encore détecter les accords; juste des notes simples. Il faut aussi qu'il y ait une pause entre les notes que je suis en train de détecter, donc je sais que l'un est terminé et l'autre a commencé. Tout commentaire à ce sujet serait également le bienvenu!

C'est le code que j'utilise lorsqu'une nouvelle trame vient du signal. il recherche la fréquence qui est la plus dominante dans l'échantillon:

//Get frequency vector for power match 
     double[] frequencyVectorDoubleArray = Accord.Audio.Tools.GetFrequencyVector(waveSignal.Length, waveSignal.SampleRate); 

     powerSpectrumDoubleArray[0] = 0; // zero DC 

     double[,] frequencyPowerDoubleArray = new double[powerSpectrumDoubleArray.Length, 2]; 

     for (int i = 0; i < powerSpectrumDoubleArray.Length; i++) 
     { 
      if (frequencyVectorDoubleArray[i] > 15.00) 
      { 
       frequencyPowerDoubleArray[i, 0] = frequencyVectorDoubleArray[i]; 
       frequencyPowerDoubleArray[i, 1] = powerSpectrumDoubleArray[i]; 
      } 
     } 

    //Method for finding the highest frequency in a sample of frequency domain data 
     //But I want to filter out stuff 
     pulsePowerDouble = lowestPowerAcceptedDouble;//0;//lowestPowerAccepted; 
     int frequencyIndexAtPulseInt = 0; 
     int oldFrequencyIndexAtPulse = 0; 
     for (int j = 0; j < frequencyPowerDoubleArray.Length/2; j++) 
     { 
      if (frequencyPowerDoubleArray[j, 1] > pulsePowerDouble) 
      { 
       oldPulsePowerDouble = pulsePowerDouble; 
       pulsePowerDouble = frequencyPowerDoubleArray[j, 1]; 

       oldFrequencyIndexAtPulse = frequencyIndexAtPulseInt; 
       frequencyIndexAtPulseInt = j; 
      } 
     } 
     foundFreq = frequencyPowerDoubleArray[frequencyIndexAtPulseInt, 0]; 

Answer 1

1) Il y a beaucoup (plusieurs dizaines d'années) de littérature de recherche sur l'estimation de fréquence et l'estimation de la hauteur (qui sont deux sujets différents).

2) La fréquence FFT maximale n'est pas la même que la hauteur musicale. Certains instruments de musique solo peuvent produire bien plus d'une douzaine de pics de fréquence pour une seule note, sans parler d'un accord, et avec aucun des plus grands pics à proximité du terrain musical. Pour certains instruments courants, les pics pourraient même ne pas être des harmoniques mathématiquement exactes.

3) L'utilisation de la case de crête d'une FFT courte non déroulée n'est pas un estimateur de fréquence intéressant.

4) La détection de début de note peut nécessiter une correspondance de modèle sophistiquée, en fonction de l'instrument.

Answer 2

Vous ne voulez pas de se concentrer sur la plus haute fréquence, mais le plus bas. Chaque note de n'importe quel instrument de musique est pleine d'harmoniques. Attendez-vous à entendre le fondamental, et chaque octave au-dessus. Plus toutes les deuxième et troisième harmoniques.

Les harmoniques sont ce qui fait qu'un son de trompette diffère d'un trombone quand il joue la même note.

Answer 3

Malheureusement, ceci est un problème extrêmement difficile, certaines des raisons ont déjà été données. Je commencerais par une recherche documentaire (Google Scholar, par exemple) pour "l'identification des notes de musique".

Si ce n'est pas un projet de temps libre, méfiez-vous - j'ai vu des maîtres fondateurs sur ce banc particulier sans obtenir de résultats utiles.