Jeu de données pour former le modèle MITIE ner

Question

Existe-t-il un ensemble de données existant avec des entités marquées pour former le modèle MITIE ner? J'ai vérifié le lien, https://github.com/mit-nlp/MITIE/blob/master/examples/python/train_ner.py qui forme le modèle avec seulement deux échantillons. Existe-t-il un ensemble de données existant avec des entités marquées à former?

Answer 1

Je cherchais quelque chose comme ça, aussi. Simplement pour un backend NLU "générique" (et donc pas très utile). La seule chose que j'ai trouvé jusqu'ici est un modèle entraîné avec 9 catégories de nouvelles (pas très génériques). Voir le billet du blog ici: http://eric-yuan.me/ner_1/

Si vous avez la possibilité de changer de NER, spaCy dispose d'un modèle entraîné disponible par défaut. Son front de visualisation peut être trouvé par google "displacy"

Si vous trouvez autre chose, faites le moi savoir!

EDIT: J'ai passé la journée à étudier la question et je pense avoir trouvé ce que vous cherchez. Si vous allez à https://github.com/mit-nlp/MITIE/releases, vous trouverez le propre modèle NER de MITIE formé sur Wikipedia, Freebase, etc. Le jeu de données d'entraînement réel est là aussi. Le fichier README sur leur page github fournit un exemple d'utilisation du modèle pré-entraîné. Vous pouvez également étudier le fichier ner.py dans le dossier examples pour voir comment utiliser le modèle pré-formé dans le code python.