Extraction d'informations, classification, modification

Question

Des exemples, des astuces, des conseils pour le scénario suivant?

J'ai récupéré des mises à jour de plusieurs sites d'informations différents. J'analyse ensuite cette information pour prédire la tendance actuelle dans le monde.

Je ne pouvais trouver les informations sur l'exploration de données que lors de la recherche de l'idée ci-dessus, mais c'est pour les systèmes de base de données. Bien que l'exploration de données soit similaire à ce que j'essaie de faire, l'exploration de données dans les bases de données est plus spécifique que ce que j'ai récupéré sur des sites Web. Alors quelqu'un pourrait-il me guider sur cet aspect? J'apprécie vraiment toute aide que vous pouvez donner à ce sujet.

Merci.

Answer 1

Tout d'abord, vous avez besoin de données d'entraînement du passé. Sens, une collection de vieilles nouvelles et l'état de la tendance à analyser à différents moments dans le temps.

Ensuite, vous devez décider comment quantifier cette information. Si la tendance est quelque chose comme "téléphones mobiles vendus", vous pouvez simplement prendre le nombre de mobiles vendus. Les nouvelles sont plus difficiles à quantifier. Par exemple, vous pouvez mesurer la fréquence des mots dans les actualités de formation et prendre les mots les moins fréquents en tant que caractéristiques (similaires aux filtres SPAM). Après cela, vous formez un classificateur sur ces caractéristiques et la tendance du passé. Un bon algorithme est l'algorithme "Random Forest", car il est pratiquement sans paramètre.

Vous aurez besoin de beaucoup de connaissances de base pour réellement mettre en œuvre ce plan. "Les éléments de l'apprentissage statistique" par Hastie, Tibshirani et Friedmann est un bon livre à apprendre. Il peut être téléchargé gratuitement sur la page d'accueil des auteurs.

Answer 2

Si vous recherchez des algorithmes d'extraction de données, vous devez vérifier l'analyse de cluster et la "factorisation matricielle non négative".
Vous pouvez extraire des sujets généraux avec cela. Obtenir la tendance actuelle à partir de cela est relativement facile.
Mais quel (le cas échéant) des autres sujets obtiendront la prochaine tendance appelle pour la magie ou les réseaux de neurones.