[OSM-Devserver] Resourcenverteilung

[Stefan Dettenhofer (StefanDausR)]

Sven Geggus schrieb:
> "Stefan Dettenhofer (StefanDausR)" <osm at dentro.info> wrote:
>
>   
>> Wann wäre denn dazu mal ein Zeitfenster frei?
>>     
>
> Für _alle_ Kerne ist das leicht zu beantworten:
>
> Nie %-/
>
> Im Ernst eine CPU solltest Du grundsätzlich frei lassen.
>
>   
Also ich habe am Wochenende den ganzen planet (planet.osm vom 
08.04.2010) erfolgreich durchrechnen lassen und die NaviPOWM-Karten erzeugt.

Hier mal eine Zeitaufstellung:
Software: bboxSplit, OSM2POWM (max. 3 threads), 7zr, linux bash
Prozessausführung mit: renice 19 -p $$

1) planetfile (bz2) grob zerlegen in lat x lon = 10.2°x20.2° (324 
osm-Dateien) -> 149 min
2) alle osm-Dateien größer als 300MB werden in 200 Dateien mit 1.2°x1.2° 
zerteilt ->  79 min
3) alle leeren osm-Files (ohne Daten) werden gelöscht
4) umsetzten der kleinen (1.2°x1.2°) files in jeweils 1 MAP-Datei -> 754 
min
5) umsetzten der großen (10.2°x20.2°) files (252 Stück) in max. 200 
MAP-Dateien -> 1107 min
6) packen der 30.611 MAP-Dateien in 30.611 7z-Dateien -> 224 min
7) erzeugen eines txt-Files für openlayers  -> 17 min
zusammen -> 2330 min

Ich kann wahrscheinlich noch etwas optimieren, indem ich die großen 
OSM-Dateien (Punkt 5) noch weiter zerteile bzw. die Grenze von 300 MB 
nach unten schiebe.

Ich erzeuge nun auch ein stampfile (/osm/stampfiles/stefand.stamp).

"GermanyPlus" benötigt nun insgesamt ca. 172 min!

Wenn ich den planet umsetze, kann ich es auch so einrichten, dass ich 
immer nur Teile rechne und dann warte, bis aio fertig ist und später 
weiter mache. So könnte ich die Berechnung auf mehrere Nachmittage 
verteilen.

Wenn nic auch noch ein stampfile anlegen würde, dann könnten wir die 
Rechenzeit gut verteilen.


Gruß,
Stefan