Supprimer les ID en double?

Question

J'ai une liste de 50 000 ID dans un fichier plat et devez supprimer tous les ID en double. Existe-t-il un algorithme efficace/recommandé pour mon problème?

Merci.

Answer 1

J'ai fait quelques expériences une fois et la solution la plus rapide que j'ai pu obtenir en PHP était de trier les éléments et de supprimer manuellement tous les éléments en double.

Si la performance est pas vraiment un problème pour vous (que je soupçonne, 50 000 est pas tant que ça) que vous pouvez utiliser array_unique(): http://php.net/array_unique

Answer 2

Lire dans un dictionnaire ligne par ligne, en supprimant les doublons. Lorsque tout est lu, écrivez dans un nouveau fichier.

Answer 3

je suppose que si vous avez l'allocation de mémoire suffisamment grande, vous pouvez mettre tous ces ids dans le tableau

$array[$id] = $id; 

ceci automatiquement les mauvaises herbes dupes.

Answer 4

Vous pouvez faire:

file_put_contents($file,implode("\n",array_unique(file($file))); 

Comment ça marche?

• Lire le fichier en utilisant la fonction file qui retourne un tableau.
• Débarrassez-vous des lignes en double à l'aide array_unique
• imploser ces lignes uniques avec « \ n » pour obtenir une chaîne
• écrire la chaîne dans le fichier en utilisant file_put_contents

Cette solution suppose que vous avez un ID par ligne dans le fichier plat.

Answer 5

Si vous pouvez utiliser un terminal (ou l'exécution native unix) , le plus simple: (en supposant qu'il n'y a rien d'autre dans le fichier):

sort < ids.txt | uniq > filteredIds.txt

Answer 6

Vous pouvez utiliser le programme en ligne de commande sort pour commander et filtrer la liste des ids. C'est un programme très efficace et évolue bien aussi.

sort -u ids.txt > filteredIds.txt 

Answer 7

Vous pouvez le faire via réseau/array_unique, dans cet exemple, je suppose que vos identifiants sont séparés par BRAKS de ligne, si c'est pas le cas juste changer

$file = file_get_contents('/path/to/file.txt'); 
$array = explode("\n",$file); 
$array = array_unique($array); 
$file = implode("\n",$array); 
file_put_contents('/path/to/file.txt',$file); 

Answer 8

Si vous pouvez simplement exploser la contenu du fichier sur une virgule (ou un délimiteur), alors array_unique produira le code le moins (et le plus propre), sinon si vous analysez le fichier avec le $ array [$ id] = $ id est la solution la plus rapide et la plus propre .