[OSM-Devserver] we need to reduce the server load!

[Jochen Topf]

On Fri, Mar 19, 2010 at 09:12:14PM +0100, Christoph Wagner wrote:
> Sven Geggus schrieb:
> 
> > Weil die Kiste komplett überlastet ist.
> 
> Ich hab erstmal eingestellt, dass er nur noch einmal in der Woche komplett neu splittet.
> Die anderen Male nimmt der splitter das alte Splitmuster (also die areas.list) und erzeugt dadurch zirka ein Drittel weniger Last.
> 
> Ich versuche mal noch ein bissel was zu optimieren und hab da noch ne Frage:
> 
> Die Tiles werden vom splitter zwischendurch gzip komprimiert und auf die Platte geschrieben. Von mkgmap werden die anschließend wieder ausgepackt.
> An sich relativ bescheuert, aber eher auf Plattenschonung optimiert.
> Ich hab da irgendwo nen Patch rumliegen, der verhindert, dass der splitter das zwischendurch nochmal einpackt und da würden dann gigabyteweise osm.xml daten auf die platte geschrieben und dann wieder gelesen, was dann allerdings in meiner Vorstellung prozessorschonender wäre.
> Soll ich das mal probieren oder ist das die falsche Schraube zum drehen?

Wahrscheinlich bringt das nichts, weil wir genug CPU haben, um das gzippen zu
machen, aber nicht genug Platten-IO-Power zum lesen und schreiben der Daten.

Allerdings verschätzt man sich leicht bei so Performance-Fragen, weil da so
viele Dinge reinspielen. Idealerweise würde man beides testen, aber das
müßte man auf einer sonst unbelasteten Maschine machen und die haben wir
nicht. :-)

Jochen
-- 
Jochen Topf  jochen at remote.org  http://www.remote.org/jochen/  +49-721-388298