2013-08-14 9 views
1

J'ai un fichier TSV de 5 Go +. J'ai besoin de visualiser les données qu'il contient, mais Excel ne peut pas ouvrir le fichier (apparemment est trop grand). Tableau ne fonctionne pas avec les fichiers TSV et Access non plus. J'ai essayé avec 010 Editor, qui peut ouvrir le fichier mais ne l'exporte pas dans un format utile. Comment puis-je l'ouvrir/exporter/transformer?Comment travailler avec un gros fichier TSV

+1

Vous mentionnez "un" fichier TSV - avez-vous essayé de l'importer dans Access après avoir renommé l'extension en .txt? – pnuts

Répondre

2

J'ai déjà rencontré ce problème. Le problème est que pour ouvrir un fichier dans Excel, vous devez généralement charger le fichier entier en mémoire. C'est bien quand le fichier est 50 ou 500k, mais quand c'est 5Go, le système ne peut pas le charger en mémoire.

Afin de travailler avec autant de données, vous avez vraiment besoin de le charger dans une base de données et d'y lancer des requêtes. Les bases de données sont optimisées pour travailler avec de grandes quantités de données (même de manière supérieure à 5 Go).

La partie difficile sera de charger ces données dans une base de données. Vous avez besoin d'un programme qui peut analyser votre fichier (lire ligne par ligne) et insérer chaque valeur TSV dans la colonne de base de données appropriée. Écrire une application pour le faire vous-même peut être le meilleur. Si vous êtes une personne Windows, vous pouvez utiliser C# (http://www.microsoft.com/visualstudio/eng/products/visual-studio-2010-express) et MSSQL Express (http://www.microsoft.com/en-us/download/details.aspx?id=29062). Voici une ressource utile pour l'analyse (Modify CSV Parser to work with TSV files C#). Voici une ressource pour insérer des lignes dans MSSQL (How to insert data into SQL Server)

Questions connexes