pysqlite, recherche d'entrées en double avec des colonnes permutées

Question

Actuellement, j'ai une base de données pysqlite que j'utilise pour stocker une liste des conditions routières. La source de cette liste est cependant buggée et génère parfois des doublons. Certains de ces doublons auront les points de départ et d'arrivée échangés, mais tout le reste sera identique.

La méthode que j'ai actuellement ressemble à ceci:

def getDupes(self): 
    '''This method is used to return a list of dupilicate entries 
    ''' 
    self.__curs.execute('SELECT * FROM roadCond GROUP BY road, start, end, cond, reason, updated, county, timestmp HAVING count(*)>1') 
    result = self.__curs.fetchall() 

    def getSwaps(): 
     '''This method is used to grab the duplicates with swapped columns 
     ''' 
     self.__curs.execute('SELECT * FROM roadCond WHERE ') 
     extra = self.__curs.fetchall() 
     return extrac 

    result.extend(getSwaps()) 

    return result 

Les travaux de la requête initiale, mais je me méfie de lui (je pense qu'il ya une meilleure façon, je ne sais pas seulement) mais je suis pas tout à fait sûr comment faire fonctionner la méthode intérieure.

Merci d'avance. :-D

Answer 1

Au lieu de la première requête, vous pouvez utiliser

SELECT DISTINCT * FROM roadCond 

qui récupérera tous les enregistrements de la table, en supprimant les doublons. Comme pour la méthode interne, cette requête renverra tous les enregistrements qui ont des "doublons" avec start et end échangés. Notez que, pour chaque enregistrement avec "doublons", cette requête retournera à la fois "l'original" et la "copie".

SELECT DISTINCT * FROM roadCond WHERE EXISTS (
    SELECT * FROM roadCond rc2 WHERE 
     roadCond.road = rc2.road AND 
     roadCond.end = rc2.start AND roadCond.start = rc2.end AND 
     roadCond.cond = rc2.cond AND 
     ... AND 
     roadCond.timestamp = rc2.timestamp) 

Edit: pour détecter et supprimer « doublons » avec start et end troqué, vous pouvez vous assurer que vos données contiennent toujours ces valeurs établies dans le même ordre:

UPDATE roadCond SET start = end, end = start WHERE end < start; 

Mais cette approche ne fonctionne que si elle n'a pas d'importance.