[OSM-Devserver] Cronjob OLM Update

Alexander Matheisen AlexanderMatheisen at ish.de
Di Apr 12 21:05:43 CEST 2011


Am Dienstag, den 12.04.2011, 17:06 +0000 schrieb Sven Geggus:
> Alexander Matheisen <AlexanderMatheisen at ish.de> wrote:
> 
> > Jedesmal die Tabelle ganz neu erzeugen? Das dauert ziemlich lang... Bei
> > meinem jetzigen Script dauert der Teil, der das Diff auf die Tabelle
> > anwendet, vielleicht 10 Minuten. Die Tabelle neu erzeugen mit einem
> > anderen Script dauerte mehrere Stunden, etwa 5.
> 
> Aus der hstore 5 Stunden, das kann ich mir nicht wirlich vorstellen.

Nein, eine eigene DB mit den gefilterten Daten und ein Script, dass das
gefilterte Planetfile durcharbeitet und die Objekte erzeugt. Kann
sicherlich noch von der Performance optimiert werden.
Wie lange das mit einem SELECT dauert weiß ich nicht, hab ich bei den
Datenmengen noch nicht gemacht.
Welchen Richtwert hast du denn?

Ich habe gezählt, aktuell sind es 359110 Nodes und 69646 Ways. Ich habe
keine Erfahrung, aber das erscheint mir fast schon zuviel für diesen
Weg, auch wenn ich wie gesagt keine Vorstellung davon habe.

> > Kann man nicht die Diffs "an mich weiterleiten"? Jedesmal wenn die Diffs
> > für ein Zeitintervall runtergeladen werden, werden die auch in ein
> > Verzeichnis von mir kopiert und am Ende der Woche läuft mein Script
> > durch die Diffs durch und wendet sie auf meine Tabelle an.
> 
> Hm, bei stündlichen diffs würde ich mich da ja eventuell noch drauf
> einlassen.  Kann man ein inkrementelles update von osm2pgsql
> eigentlich auf stündliche updates umstellen?  Sollte eigentlich
> gehen.  Sollten wir vielleicht mal machen sollte eventuell sinnvoller
> sein als die minütlichen updates.

Ich weiß nicht wie es hier ist, aber ich update mein Plaetfile mit dem
replication Zeugs von osmosis und da kann man in der Konfigurationsdatei
das Zeitintervall einstellen, von dem die Diffs heruntergeladen werden.
Wird hier vermutlich auch so sein, denn osm2pgsql kann meines Wissens
doch nur Diffs einspielen und nicht selbst herunterladen, oder etwa
doch?


Alex