Suite

Osm2pgsql --append extrêmement lent


J'ai importé planet.osm dans une base de données. Maintenant, j'essaie de configurer des mises à jour horaires.

j'ai généré un fichierchange.osc.gzen utilisant l'osmose. Ce fichier contient des mises à jour pendant 1 heure - qui semblent s'exécuter EXTRÊMEMENT lentement. Je devrais ajouter par désespoir que j'utilise maintenant une machine Amazon avec 16 processeurs et 122 Go de mémoire - avec tout ce qui fonctionne sur des disques SSD internes (pas des volumes EBS)

J'essaie ensuite d'ajouter ces modifications à l'aide d'osm2pgsql à l'aide de la commande suivante :

osm2pgsql --append -s -H db.host -d osm -U user -C 64000 --number-processes 16 --cache-strategy dense --hstore --hstore-add-index -K -G -W -p osm --extra-attributes -v changes.osc.gz

Les options que j'ai utilisées sont les mêmes que celles utilisées pour l'importation initiale.

J'obtiens des statistiques comme ceci :

Traitement : Nœud (120 k 0,4 k/s) Voie (15 k 0,17 k/s) Relation (431 3,65/s) Temps d'analyse : 521 s

Cela semble extrêmement lent - mais ensuite la situation empire… dans l'ensemble, j'ai attendu plus d'une heure et le processus était loin d'être terminé.

Ensuite, les voies en attente sont d'environ 32 millions… est-ce normal pour une mise à jour horaire ?

J'espère vraiment que je fais quelque chose de très mal. Quelqu'un a-t-il une configuration réalisable avec des mises à jour ? Quels paramètres utilisez-vous les gars?

Est-ce que quelqu'un sait s'il est même possible de conserver une base de données OSM avec des mises à jour ?


Voir la vidéo: 2019: OSM data processing with PostgreSQLPostGIS (Octobre 2021).