[OSM-Devserver] soll ich aio vielleicht mal lieber ne weile aussetzen?

[Kai Krueger]

On 23/04/10 22:28, Christoph Wagner wrote:
> Kai Krueger schrieb:
...
>>>
>>> Was meint ihr? Ich jedenfalls probier es in dieser Situation erst gar
>>> nicht mehr.
>>
>> Du hast es warscheinlich schon mal erwaehnt, ich finde es nur gerade
>> nicht, aber was fuer Resourcen benoetigst du denn fuer den AIO build
>> Prozess? Insbesondere bezueglich des RAM's und der I/O-ops. Benoetigt
>> der Process Zugriff auf eine Datenbank, oder nur das lineare lesen und
>> schreiben von Dateien?
>
> eigentlich brauch ich nur lesen und schreiben von Daten. Was ich mit der Datenbank mache ist nicht der Rede wert und passiert performancmäßig fast in nullzeit.
> Die fetten OSM-Daten zieh ich aus dem file und schreib die fertigen garminkarten auch wieder in files. das ganze noch hin und her entpacken und wieder zusammenpacken und gut.

Das klingt als braeuchte das nicht so viel Disk performance und sollte 
eigentlich kein Problem sein. Es ist der random I/O und die disk seeks von 
typischen Datenbankanwendungen und beim swappen, die das System voellig zum 
erliegen bringen.

>
>> Vielleicht ist es eine Ueberlegung wert das nochmal auf dem osmf dev
>> server zu probieren. Der ist geringfuehgig leistungsfaehiger[1] als der
>> fossgis dev server (8 + 8 hyperthreading Cores, 24Gb Ram und 6Tb (nicht
>> gerade sonderlich schneller) Speicher) und im moment noch nicht
>> sonderlich ausgelastet[2].
>>
>
> Naja ich sag mal so - ich kann mittlerweile ziemlich gut parallelisieren. Der Flaschenhals ist entweder der Hauptspeicher oder der I/O speed auf die platte.
> Am Stück bräuchte ich minimal 8GB hauptspeicher.
> Zum reibungsfreien Ablauf und Zwischenspeichern bestimmter Arbeitsschritte komm ich schon mal so auf über 50 GB im Moment, den ich so an Plattenplatz belegen würde.

8Gb Ram sind schon einiges, aber wenn du das nur fuer kurze Zeit benoetigst 
vieleicht ne Stunde oder so am Tag, sollte das aber auch durch aus noch gehen. 
(derzeit waeren wahrscheinlich auch deutlich laenger drin, aber wenn mehr Leute 
die Resourcen benoetigen muesste man es dann halt wieder etwas reduzieren um es 
fair auf zu teilen, damit nicht auch dort die derzeitige Situation von Gauss 
eintritt... ;-)) Ich verwende gelegentlich auch so viel auf dem Server um die 
woechendlichen Erzeugung von GpsMid midlets durch zu fuehren. 50 GB 
Festplattenplatz hingegen duerfte bei 6Tb kein Problem darstellen.

Aber fuer genauere Details und einen Account muesstest du dich an einen der 
Admins wenden, vermutlich am besten an Grant.

Kai

>
> Viele Grüße
> Christoph
>