Est-il possible de lire un fichier ligne par ligne avec Amazon S3? Je cherche à permettre aux utilisateurs de télécharger des fichiers volumineux quelque part, puis d'avoir du code (probablement exécuté sur Amazon) pour lire leur fichier ligne par ligne et faire quelque chose avec, probablement dans un mode multithread réduit par carte. Ou peut-être juste être capable de charger 1000 lignes à la fois ... Des suggestions?Lire le fichier ligne par ligne dans Amazon S3?
Répondre
Amazon S3 prend en charge les demandes de plage mais n'est pas conçu pour lire un fichier ligne par ligne.
Cependant, il ressemble Amazon Elastic MapReduce pourrait être un bon moyen ce que vous recherchez. Les transferts entre les instances S3 et EC2 utilisées seront très rapides et vous pourrez ensuite répartir le travail comme bon vous semble.
Voici un extrait exemple en PHP qui semble faire ce que vous demandez (saisit les 1000 premiers lignes fichier.txt et les concaténer). C'est un peu contrit, mais l'idée peut être implémentée dans d'autres langues ou en utilisant d'autres techniques. La clé est de traiter S3 même que vous le feriez pour tout autre système de fichiers comme Windows ou Linux, la seule différence étant que vous utilisez vos touches S3 et définissez les informations d'identification le chemin du fichier à s3: //your_directory_tree/your_file.txt ":
<?php
set_time_limit(0);
include("gs3.php");
/* fake keys!, please put yours */
define('S3_KEY', 'DA5S4D5A6S4D');
define('S3_PRIVATE','adsadasd');
$f = fopen('s3://mydir/file.txt', 'r');
$c = "";
$d = 0;
$handle = @fopen('s3://mydir/file.txt', "r");
if ($handle) {
while (($buffer = fgets($handle)) !== false && $d < 1000) {
$c .= $buffer; /* concatenate the string (newlines attached)*/
$d += 1; /* increment the count*?
}
if (!feof($handle)) {
echo "Error: unexpected fgets() fail\n";
}
else{
print "$c"
}
fclose($handle);
}
?>
- 1. Comment lire le fichier ligne par ligne dans le fichier?
- 2. Lire le fichier dans le tableau ligne par ligne
- 3. Lire le fichier ligne par ligne dans matlab
- 4. bat lire un fichier ligne par ligne
- 5. Comment lire un fichier ligne par ligne
- 6. Android lire grand fichier ligne par ligne
- 7. comment lire txt fichier ligne par ligne
- 8. Comment lire une ligne ligne par ligne
- 9. Lire un fichier ligne par ligne dans Prolog
- 10. Comment lire l'entrée d'un fichier ligne par ligne dans java?
- 11. Lire un fichier texte ligne par ligne dans Qt
- 12. Dupliquer le fichier dans Amazon S3
- 13. C++ Lire le fichier ligne par ligne puis diviser chaque ligne en utilisant le délimiteur
- 14. Lire ligne par ligne à partir d'un fichier sous unix
- 15. Android - lire à partir du fichier texte ligne par ligne
- 16. Lire un fichier ligne par ligne avec VB.NET
- 17. unistd.h read() function: Comment lire un fichier ligne par ligne?
- 18. Lire le fichier CSV par ligne dans ASP
- 19. Lire le texte ligne par ligne dans un JTextPane
- 20. Comment lire un fichier texte ligne par ligne?
- 21. Lire un fichier ligne par ligne avec mmap
- 22. Bash, lire un fichier ligne par ligne avec des sauts
- 23. FileUpload à Amazon S3 résultats dans le fichier 0 byte
- 24. Perl Script pour lire le fichier ligne par ligne et exécuter la commande sur chaque ligne
- 25. autorisations Amazon S3 par le domaine
- 26. Nom de fichier sensible dans Amazon S3
- 27. Concurrence dans Amazon S3
- 28. Télécharger le fichier sur Amazon S3
- 29. Lire le fichier texte en Perl mot par mot au lieu de ligne par ligne
- 30. Lire le fichier binaire ligne par ligne dans la zone de texte