Extraction par programme de mots-clés à partir de noms de domaine

Question

Disons que j'ai une liste de noms de domaine que je voudrais analyser. À moins que le nom de domaine ne soit coupé, je ne vois pas de moyen particulièrement facile d '«extraire» les mots-clés utilisés dans le domaine. Pourtant, je le vois faire sur des sites tels que DomainTools.com, Estibot.com, etc. Par exemple:

ilikecheese.com becomes "i like cheese" 
sanfranciscohotels.com becomes "san francisco hotels" 
... 

Toutes les suggestions pour y parvenir efficacement et efficacement?

Editer: Je voudrais écrire ceci en PHP.

Answer 1

Ok, j'ai exécuté le script que j'ai écrit pour this SO question, avec quelques changements mineurs - en utilisant les probabilités log pour éviter les débordements, et en le modifiant pour lire plusieurs fichiers en tant que corpus.

Pour mon corpus, j'ai téléchargé un tas de fichiers du projet Gutenberg - pas de véritable méthode pour cela, j'ai juste saisi tous les fichiers en anglais depuis etext00, etext01, et etext02.

Voici les résultats, j'ai enregistré les trois premiers pour chaque combinaison.

 
expertsexchange: 97 possibilities 
- experts exchange -23.71 
- expert sex change -31.46 
- experts ex change -33.86 

penisland: 11 possibilities 
- pen island -20.54 
- penis land -22.64 
- pen is land -25.06 

choosespain: 28 possibilities 
- choose spain -21.17 
- chooses pain -23.06 
- choose spa in -29.41 

kidsexpress: 15 possibilities 
- kids express -23.56 
- kid sex press -32.65 
- kids ex press -34.98 

childrenswear: 34 possibilities 
- children swear -19.85 
- childrens wear -25.26 
- child ren swear -32.70 

dicksonweb: 8 possibilities 
- dickson web -27.09 
- dick son web -30.51 
- dicks on web -33.63 

Answer 2

Vous devez utiliser un moteur de dictionnaire contre une entrée de domaine pour trouver des mots valides et exécuter ce moteur de dictionnaire sur le résultat pour vous assurer que le résultat est un mot valide.

Answer 3

Si vous avez une liste de mots valides, vous pouvez parcourir votre chaîne de domaine et essayer de couper un mot valide à chaque fois avec un algorithme de retour arrière. Si vous avez réussi à utiliser tous les mots, vous avez terminé. Sachez que le temps de la complexité ce n'est pas optimale :)

Answer 4

choosespain.com kidsexpress.com childrenswear.com dicksonweb.com

Amusez-vous (et un bon avocat) si vous allez essayez d'analyser l'URL avec un dictionnaire.

Vous pourriez faire mieux si vous pouvez trouver les mêmes caractères mais séparés par des espaces blancs sur leur site Web.

Autres possibilités: extraire des données du certificat ssl; interroger le serveur de noms de domaine de premier niveau; Accéder au serveur de noms de domaine (TLD); ou utilisez l'un des outils ou services "whois" (il suffit de google "whois").

Answer 5

Pourrait vouloir vérifier this SO question.

Answer 6

Vous devez développer une heuristique qui obtiendra des correspondances probables hors du domaine. La façon dont je le ferais est d'abord de trouver un grand corpus de texte. Par exemple, vous pouvez télécharger Wikipedia.

Ensuite, prenez votre corpus, et combinez tous les deux mots adjacents. Par exemple, si votre phrase est:

quick brown fox jumps over the lazy dog 

Vous allez créer une liste:

quickbrown 
brownfox 
foxjumps 
jumpsover 
overthe 
thelazy 
lazydog 

Chacun de ces facteurs pourrait avoir un compte d'une. En analysant votre corpus, vous garderez trace des paires de fréquences de deux mots. De plus, pour chaque paire, vous devrez trier les deux mots d'origine.

Triez cette liste en fonction de la fréquence, puis tentez de trouver des correspondances dans votre domaine en fonction de ces mots.

Enfin, effectuez un contrôle de domaine pour les deux phrases de mots qui ne sont pas enregistrés!

Je pense que les sites comme DomainTool prennent une liste des mots les mieux classés. Ils essaient ensuite d'analyser ces mots en premier. Selon le but, vous pouvez envisager d'utiliser MTurk pour faire le travail. Différentes personnes analyseront différemment les mêmes mots et ne le feront peut-être pas proportionnellement à la fréquence des mots.

Answer 7

function getwords($string) { 
    if(strpos($string,"xn--") !== false) { 
     return false; 
    } 
    $string = trim(str_replace('-', '', $string)); 
    $pspell = pspell_new('en'); 
    $check = array(); 
    $words = array(); 
    for($j = 0; $j < (strlen($string) - 5); $j++) { 
     for($i = 4; $i < strlen($string); $i++) { 
      if(pspell_check($pspell, substr($string, $j, $i))) { 
       $check[$j]++; 
       $words[] = substr($string, $j, $i); 
      } 
     } 
    } 
    $words = array_unique($words); 
    if(count($check) > 0) { 
     return $words; 
    } 
    return false; 
} 

print_r(getwords('ilikecheesehotels')); 

Array 
(
    [0] => like 
    [1] => cheese 
    [2] => hotel 
    [3] => hotels 
) 

comme un simple départ avec pspell. vous pourriez vouloir comparer les résultats et voir si vous avez obtenu le stemm d'un mots sans le "s" à la fin et les fusionner.