J'ai un fichier TSV de 5 Go +. J'ai besoin de visualiser les données qu'il contient, mais Excel ne peut pas ouvrir le fichier (apparemment est trop grand). Tableau ne fonctionne pas avec les fichiers TSV et Access non plus. J'ai essayé avec 010 Editor, qui peut ouvrir le fichier mais ne l'exporte pas dans un format utile. Comment puis-je l'ouvrir/exporter/transformer?Comment travailler avec un gros fichier TSV
Répondre
J'ai déjà rencontré ce problème. Le problème est que pour ouvrir un fichier dans Excel, vous devez généralement charger le fichier entier en mémoire. C'est bien quand le fichier est 50 ou 500k, mais quand c'est 5Go, le système ne peut pas le charger en mémoire.
Afin de travailler avec autant de données, vous avez vraiment besoin de le charger dans une base de données et d'y lancer des requêtes. Les bases de données sont optimisées pour travailler avec de grandes quantités de données (même de manière supérieure à 5 Go).
La partie difficile sera de charger ces données dans une base de données. Vous avez besoin d'un programme qui peut analyser votre fichier (lire ligne par ligne) et insérer chaque valeur TSV dans la colonne de base de données appropriée. Écrire une application pour le faire vous-même peut être le meilleur. Si vous êtes une personne Windows, vous pouvez utiliser C# (http://www.microsoft.com/visualstudio/eng/products/visual-studio-2010-express) et MSSQL Express (http://www.microsoft.com/en-us/download/details.aspx?id=29062). Voici une ressource utile pour l'analyse (Modify CSV Parser to work with TSV files C#). Voici une ressource pour insérer des lignes dans MSSQL (How to insert data into SQL Server)
- 1. comment travailler avec un gros fichier csv
- 2. Comment puis-je travailler avec un gros fichier en C#?
- 3. Travailler avec un gros fichier CSV dans MATLAB
- 4. table HTML sed avec un fichier .tsv
- 5. Comment optimiser la recherche de deux tuples de tuples pour un gros fichier tsv en python?
- 6. Comment télécharger un gros fichier avec AsiHttpRequest
- 7. D3.js remplacer un fichier tsv avec un tableau
- 8. Comment charger un fichier tsv dans un DataFrame Pandas?
- 9. Comment importer un gros fichier dans PostgreSQL?
- 10. Validation du fichier TSV en Java
- 11. Comment convertir un fichier Excel avec plusieurs feuilles en un ensemble de fichiers TSV?
- 12. Comment analyser rapidement un gros fichier MDB
- 13. Comment traiter un gros fichier XML rapidement?
- 14. Comment gérer un gros fichier MXML
- 15. Navigateur, télécharger un gros fichier
- 16. dplyr: comment lire un fichier tsv avec des en-têtes en sautant certaines lignes?
- 17. Comment supprimer des caractères du fichier tsv pendant l'analyse?
- 18. Pour compresser un gros fichier dans un ZIP avec Java
- 19. Travailler avec un fichier JSON et Javascript
- 20. insertion de chaîne dans un gros fichier
- 21. Lecture d'un gros fichier avec Python
- 22. Comment analyser un gros JSON avec jQuery?
- 23. En comparant 2 colonnes de 2 différents fichiers .tsv et écrire la sortie dans un nouveau fichier TSV
- 24. Comment travailler avec un fichier XML et XSL incorporé
- 25. Traiter avec un gros fichier gzippé dans Spark
- 26. Comment télécharger un gros fichier dans un blob dans Azure
- 27. analyse syntaxique gros fichier xml avec python
- 28. Python: trancher un très gros fichier binaire
- 29. Télécharger et lire un gros fichier CSV
- 30. Haskell analyse un gros fichier xml avec peu de mémoire
Vous mentionnez "un" fichier TSV - avez-vous essayé de l'importer dans Access après avoir renommé l'extension en .txt? – pnuts