J'essaie d'importer des données OSM de la totalité de la planète sur un AWS EC2. Pendant ou peut-être après la "voies" le traitement que je reçois le message suivant:L'importation osm2pgsql échoue avec "Impossible de lire à partir du cache de noeud: Erreur d'entrée/sortie"
"Failed to read from node cache: Input/output error"
Le EC2 a les spécifications suivantes:
Type: i3.xlarge
mémoire: 30,5 Gb
vCPU: 4
Postgresql: v9.5.6
PostGIS: 2.2
en plus du volume racine, j'ai monté SSD 900 Go et un HHD de 2 To (débit élevé). Le répertoire de données Postgresql est sur le HHD. J'ai commandé le osm2pgsql pour écrire le fichier plat-nœuds le SSD.
Voici ma commande osm2pgsql:
osm2pgsql -c -d gis --number-processes 4 --slim -C 20000 --flat-nodes /data-cache/flat-node-cache/flat.nodes /data-postgres/planet-latest.osm.pbf
je lance la commande ci-dessus en tant qu'utilisateur renderaccount qui est membre des groupes suivants renderaccount ubuntu postgres. Le fichier flat-nodes semble être créé avec succès à /data-cache/flat-node-cache/flat.nodes et a ce profil:
[email protected]:/data-cache/flat-node-cache$ ls -l
total 37281800
-rw------- 1 renderaccount renderaccount 38176555024 Apr 13 05:45 flat.nodes
Quelqu'un at-il courir dans et ou résolu cela? Je soupçonne peut-être un problème de permissions? Je remarque maintenant que depuis cette dernière erreur osm2pgsql, le SSD monté qui est la destination du fichier flat-nodes a été converti en un système de fichiers "en lecture seule" - ce qui peut arriver quand il y a des erreurs d'entrée/sortie sur le volume monté (?).
De même, osm2pgsql écrit-il dans un journal que je pourrais obtenir des informations supplémentaires?
MISE À JOUR: dmesg sortie:
[ 6206.884412] blk_update_request: I/O error, dev nvme0n1, sector 66250752
[ 6206.890813] EXT4-fs warning (device nvme0n1): ext4_end_bio:329: I/O error -5 writing to inode 14024706 (offset 10871640064 size 8388608 starting block 8281600)
[ 6206.890817] Buffer I/O error on device nvme0n1, logical block 8281344
Après avoir étudié la sortie ci-dessus, il semble qu'il pourrait être un bogue dans Ubuntu 16.04. https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1668129?comments=all