Comment regrouper des sociétés ayant des noms différents mais qui sont essentiellement les mêmes sur le plan sémantique?

Question

Je fais des analyses de la concurrence en utilisant les données du gouvernement ouvert du secteur public britannique. Mais il y a quelques anomalies dans mes résultats. Quand je groupais les contrats par les noms de compagnie, il y a beaucoup de problèmes comme les sociétés sont mal orthographiés ou ils changent dans leurs noms. HP, Hewlett-Packard, Hewlett-Packard Limité, ibm, ibm RU, ibm RU limité etc. La chose est que j'ai déjà couru mon code et ai fixé les résultats manuellement. Maintenant, j'ai changé certaines parties du code et j'ai besoin de le relancer. Mais je ne peux pas revenir en arrière en faisant la même chose car c'est cher. En ce moment je pense à écrire une règle générale qui triera ces compagnies par ordre alphabétique, et les fusionnera quand elles correspondront aux premiers mots. Mais ce n'est pas une approche à toute épreuve car HP et Hewlett-Packard seront différents. Est-ce que quelqu'un a fait un travail similaire avant ou peut me référer à leur travail s'il vous plaît. Je vous serais reconnaissant. Merci.

Answer 1

Ceci est un problème que j'ai travaillé par le passé, mais je l'ai fait pour un domaine différent. Vous pouvez commencer avec une source en ligne qui donne la liste des entreprises et leurs abréviations, les gratter et les stocker dans un format (comme hashmap). Vous pouvez maintenant utiliser les abréviations pour trouver une correspondance de sous-chaîne avec l'original et abbr. mot avec un certain seuil (disons 90%).

Spécifique à votre cas, vous pouvez commencer à gratter ce site http://www.abbreviations.com/acronyms/FIRMS en utilisant JSOUP. Cela a une source très riche d'abréviations d'entreprise. Si cette liste ne suffit pas, vous devrez chercher d'autres sources. J'espère que cela t'aides.