[OSM-Devserver] Resourcenverteilung

[Christoph Wagner]

Stefan Dettenhofer (StefanDausR) schrieb:

>> Muss mal schaun, was die Parallelverarbeitung morgen so kann.
>> Dann meld ich mich nochmal.
>>
>>   
> Alles klar! Ich starte momentan noch manuell.
> 

Ist auch ganz gut so, denn ich starte, wenn was nicht klappt auch gerne noch mal manuell hinterher.

Was meine Paralleltests angeht, so geht da im Prinzip einiges.
Mein Problem war heute, dass ich relativ unklug Prozesse, die viel Speicher verbrauchen, parallel ausgeführt habe, wodurch dann der größte davon mangels Hauptspeicher gekillt wurde.
Ich hab jetzt noch ein bisschen an der Ausführungsreihenfolge getrickst und würde sehr gerne morgen nochmal parallel testen.

Ich denke ich kann mit der ganzen Aktion über 2h Rechenzeit rausholen! Das sieht so weit verdammt gut aus. Dann wär halt die Maschine krass ausgelastet, wenn ich losrechne, aber dafür bin ich eher fertig.
Die größte Beschränkung ist halt eigentlich im Moment der Hauptspeicher, den es klug zu nutzen gilt.

@Sven: Ist das eigentlich einfach möglich der Kiste noch mehr Swap zu geben? Ich hab das Gefühl, dass ich den auch sinnvoll nutzen kann.
Meine Prozesse greifen nämlich auf die selben Dateien zu, die entpackt werden müssen und recht viele sind. Ich glaube, dass es tatsächlich mehr performance bringt, die ausgepackten dateien im swap "gecached" zu haben, als nochmal neu die gepackten Teile von der Platte zu lesen und auszupacken.
Ist jetzt nur so ne gefühlte Beobachtung und ich habe keine Zeitmessungen dafür, weil eben der Swap momentan noch zu klein ist, aber wenn es nicht schwierig ist, mehr Swap zu geben, könnte man das ja testen.
Zudem wäre das sozusagen noch ne kleine Absicherung, dass, wenn viel auf dem Server los ist, der meine ganzen parallelen Prozesse in den swap drückt und erstmal was anderes rechnen kann. Ich glaub auch das wäre besser, als dass mein prozess gekillt wird und der nochmal von vorne laufen muss.
Da meine Prozesse ja alle voll nice sind, sind sie ja auch gut verdrängbar (wenn genügend Platz da ist).
Was meinst du?

Grüße
Christoph

-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : signature.asc
Dateityp    : application/pgp-signature
Dateigröße  : 197 bytes
Beschreibung: OpenPGP digital signature
URL         : <https://lists.openstreetmap.de/pipermail/devserver/attachments/20100415/4479d231/attachment.pgp>