[OSM-Devserver] soll ich aio vielleicht mal lieber ne weile aussetzen?

[Kai Krueger]

On 23/04/10 21:09, Christoph Wagner wrote:
> Jochen Topf schrieb:
>
>>> Das sollte mal jemand im Auge behalten, der da mehr Übersicht hat als ich.
>>
>> Also da laufen zwei Datenbankimports und ein Tagwatch-Skript. Das kann nichts
>> werden. Ich dachte ihr wolltet das koordinieren, dass immer nur einer der
>> Batch-Jobs auf einmal läuft?
>>
>
> Jo, aber das galt eher für die regelmäßigen Sachen. Der hstore import läuft ja eigentlich einmalig, dachte ich. Nur läuft der halt schon ne Weile.
> Dann gibts da noch das Tagwatch ding. Weiß auch nicht wie lange und in welcher Frequenz das so läuft. Mal Dirk fragen.
>
> Der Rest ist glaub ich NOPs Wanderkarte. Weiß nicht, was da die Hauptlast ausmacht. Der tirex ist da auch recht aktiv. Ist das kontinuierlich oder batchmäßig getriggert?
>
> Naja, ist jedenfalls ordentlich was los. Irgendwann muss ja auch mal was fertig werden. Nur befürchte ich fast, dass es schneller gehen würde, die Dinge wirklich hintereinander zu berechnen.
> Der volle Swap gefällt mir nicht so und deutet auf unnötigen I/O-Traffic hin.

Mehrer Datenbanken mit viel random I/O auf einem nicht gerade super schnellem 
Disk subsystem ist nicht ideal... ;-)

>
> Was meint ihr? Ich jedenfalls probier es in dieser Situation erst gar nicht mehr.

Du hast es warscheinlich schon mal erwaehnt, ich finde es nur gerade nicht, aber 
was fuer Resourcen benoetigst du denn fuer den AIO build Prozess? Insbesondere 
bezueglich des RAM's und der I/O-ops. Benoetigt der Process Zugriff auf eine 
Datenbank, oder nur das lineare lesen und schreiben von Dateien?

Vielleicht ist es eine Ueberlegung wert das nochmal auf dem osmf dev server zu 
probieren. Der ist geringfuehgig leistungsfaehiger[1] als der fossgis dev server 
(8 + 8 hyperthreading Cores, 24Gb Ram und 6Tb (nicht gerade sonderlich 
schneller) Speicher) und im moment noch nicht sonderlich ausgelastet[2].

Kai

[1] http://wiki.openstreetmap.org/wiki/Servers/errol
[2] http://munin.openstreetmap.org/openstreetmap/errol.openstreetmap.html


>
> Grüße
> Christoph
>
>
>
>
>
> _______________________________________________
> Devserver mailing list
> Devserver at lists.openstreetmap.de
> http://lists.openstreetmap.de/mailman/listinfo/devserver