[OSM-Devserver] osm2pgsql-Import

[Frederik Ramm]

Hi,

Tobias Wendorff wrote:
> Ich habe es jetzt komplett mit Indizes in *sieben Stunden* geschafft.

Ich hab das hier alles nicht so verfolgt und weiss daher nicht genau, 
wer hier eigentlich was womit importiert.

Grundsaetzlich war vor einem Jahr ein Komplettimport mit 08/15 osm2pgsql 
auf einer normalen SATA-Platte in 4.5 Stunden moeglich, wenn man 48 GB 
RAM hatte:

http://www.geofabrik.de/media/2010-07-10-rendering-toolchain-performance.pdf 


Mit 24 GB RAM hat es 5.5 Stunden gebraucht. Wenn man das XML-Parsen 
eingespart hat (osm2pgsql-Option -r primitive) waren es auf der 48 
GB-Kiste 3.25 Stunden, ich denke mal, das entspricht etwa auch dem 
PBF-Einlesen, das es damals noch nicht gab.

Inzwischen ist das Planetfile um 80% groesser geworden, ich wuerde also 
bei einem ganz gewoehnlichen Rechner mit 48 GB RAM heute eine 
Import-Zeit von rund 6-7 Stunden erwarten, ohne jeden Schnickschnack.

Allerdings sind das Werte fuer einen Import ohne --slim. Der Import mit 
--slim hat seinerzeit bei mir selbst mit SSD und 48 GB RAM immer noch 22 
Stunden gedauert, allein wegen der Index-Berechnerei im PostGIS. Mit der 
80% Steigerung im Datenvolumen duerften wir heute also bei ca. 40 
Stunden liegen.

Wenn Tobias oben von einem --slim-Import eines kompletten Planet in 7 
Stunden spricht, dann interessiert mich brennend, mit welchem 
Disk-Subsystem und welcher Postgres-Konfig er das geschafft hat, denn 
das waere wirklich sensationell. Da nachgewiesermassen alles, was auf 
der Inputseite passiert (XML parsen oder PBF einlesen oder was auch 
immer) nicht laenger als 3 Stunden dauert, koennen saemtliche 
Sperenzchen mit osmconvert und User weglassen und so weiter auch maximal 
3 Stunden einsparen - und mich wuerde dann schon eher interessieren, wo 
die anderen 30 Stunden eingespart worden sind ;)

Bye
Frederik

-- 
Frederik Ramm  ##  eMail frederik at remote.org  ##  N49°00'09" E008°23'33"