[OSM-Devserver] Resourcenverteilung

[Christoph Wagner]

Am 13. April 2010 19:37 schrieb Stefan Dettenhofer (StefanDausR)
<osm at dentro.info>:
> Sven Geggus schrieb:
>>
>> "Stefan Dettenhofer (StefanDausR)" <osm at dentro.info> wrote:
>>
>>
>>>
>>> Wann wäre denn dazu mal ein Zeitfenster frei?
>>>
>>
>> Für _alle_ Kerne ist das leicht zu beantworten:
>>
>> Nie %-/
>>
>> Im Ernst eine CPU solltest Du grundsätzlich frei lassen.
>>
>>
>
> Also ich habe am Wochenende den ganzen planet (planet.osm vom 08.04.2010)
> erfolgreich durchrechnen lassen und die NaviPOWM-Karten erzeugt.
>
> Hier mal eine Zeitaufstellung:

> zusammen -> 2330 min
>

Das sind knapp 40 Stunden oder? Also fast 2 Tage.
Wenn du das aber am Wochenende laufen hattest, dann lief ja auch mein
Zeug nebenbei und es hat wohl nicht geschadet.
Wenn nicht noch nen fetter Datenbankimport irgendwo läuft scheint das
ganz gut zu gehen.

Wie oft rechnest du denn die Welt so?

> Ich erzeuge nun auch ein stampfile (/osm/stampfiles/stefand.stamp).

gut, werde ich berücksichtigen.

> "GermanyPlus" benötigt nun insgesamt ca. 172 min!

Geht schon. Willst du das öfter rechnen als die Welt?

> Wenn ich den planet umsetze, kann ich es auch so einrichten, dass ich immer
> nur Teile rechne und dann warte, bis aio fertig ist und später weiter mache.
> So könnte ich die Berechnung auf mehrere Nachmittage verteilen.

Frag mich gerade, ob das nötig ist, oder ob das nicht beides
gleichzeitig klarkommt.

> Wenn nic auch noch ein stampfile anlegen würde, dann könnten wir die
> Rechenzeit gut verteilen.
>

jo.

Ich hab aber noch ne ganz konkrete Frage. Ich benutze manchmal nur
einen Kern, könnte aber meinen Prozess noch weiter parallelisieren,
indem ich die make-targets gleichzeitig baue
könnte mit make -j4 oder so klappen und dabei alle kerne benutze.

Momentan brauche ich für meinen gesamten Prozess zwischen 6 und 7 Stunden.
Das ließe sich eventuell noch drücken.

Wenn eure Prozesse parallel laufen sollen, wär es doof, alle
Ressourcen zu verbrauchen.
Ich habe aber auch gesehen, dass man mit make -l abhängig vom load
unterschiedlich viele Prozesse benutzen kann.
Vielleicht wäre das auch was.
Ich könnte morgen mal probieren make parallel auszuführen und die Zeit
vergleichsweise zu stoppen.

Es gab bei mir auch anfragen, ob ich mehr Teile aus Europa einzeln zum
Download anbieten kann.
Momentan mach ich das testweise mit den Bundesländern so, die alle
zusammen etwa eine halbe Stunde brauchen, da ich das immer aus dem
bereits berechneten Kram ausschneide.
Das könnte ich auch so mit anderen Ländern in Europa machen, weiß aber
gerade nicht, wie lange der Spaß dann so dauert. Am längsten dauert
daran in der Regel das packen und komprimieren der fertigen Karten -
wobei ich das parallel ausführe. Braucht nicht so viel Hauptspeicher
nur CPU wie blöde.

Anders siehts bei der eigentlichen Konvertierung der Europadaten ins
Garminformat aus. Da rechnet momentan mein basislayer am längsten auf
einem Kern rum, und braucht dabei seine 8G Hauptspeicher. Da könnte
man parallel noch andere Sachen laufen lassen, entweder Zeugs von mir,
damit ich insgesamt schneller fertig bin oder allgemein andere
Prozesse.

Muss mal schaun, was die Parallelverarbeitung morgen so kann.
Dann meld ich mich nochmal.

Grüße
Christoph