Pour soutenir davantage la réponse d'Ivans ci-dessus Lucene est la voie à suivre. Vous n'avez pas mentionné la plate-forme sur laquelle vous vous trouvez, je vous ferai remarquer que vous pouvez également utiliser un port .NET.
Si vous utilisez Lucene, il existe un très bon livre de Manning sur le sujet que je vous recommande de regarder.
Lorsqu'il s'agit de remplir votre index, vous avez plusieurs choix. Pour commencer, vous pouvez simplement vider tout votre texte dans l'index et permettre au moteur de simplement le rechercher. Cependant, je vous recommande d'ajouter des champs fixes à votre index, ce qui vous permettra de prendre en charge des éléments tels que les recherches partitionnées ou les recherches sur ces champs uniquement. Pour expliquer, disons que vous avez un champ pour le site Web. Ensuite, vous pouvez partitionner votre index en limitant la recherche d'index aux documents ayant ce site Web dans ce champ.
L'autre processus consiste à extraire les points d'intérêt de votre document et à autoriser les recherches sur ceux-ci sans rechercher l'intégralité de l'entrée d'index. Votre kilométrage peut varier avec ceci puisque le moteur de Lucene est très bien écrit ainsi il peut simplement vous permettre de rassembler vos recherches dans des unités plus logiques qui vous aident avec votre solution.
Je l'ai fait moi-même et cela aide à répondre aux questions de gestion sur ce qui est exactement recherché et indexé.
HTH!