[osm-pfenz] Datenmengen

[Detlef Reichl]

Hallo,

Am Freitag, den 30.01.2009, 09:02 +0100 schrieb Lutz Horn:
> Hallo,
> 
> On Fri, 30 Jan 2009 01:21 +0100, "Markus Terbrüggen" <ueckor at gmx.de>
> wrote:
> > Detlef Reichl schrieb:
> > > Den ausgewerteten Bereich siehst Du bei den Fehlerkarten unter
> > > http://osm.dev-random.de/osm-wolf/de/common0.html . Mal schaun, wie
> > > lange Lutz, bzw. sein Server mitspielen, wenn wir den Bereich sukzessive
> > > vergrößert haben wollen ;-) 
> > 
> > Hab schon überlegt, meinen mit zur Verfügung zu stellen aber der hat
> > leider nur ein gig RAM. Also wenn das für irgendwelche Auswertungen etc.
> > reicht, kann ich da gerne was draufschmeißen.
> 
> Auf dem Server liegen nur die generierten HTML-Seiten und die Bilder. Er
> hat also nichts weiter zu tun als statische Dateien auszuliefern. Das
> sollte noch gehen.

Ich habe das System absichtlich darauf hin optimiert, das es auch auf
kleineren Rechnern läuft. Mein Rechner hat auch nur ein Gig RAM und
neben der Auswertung habe ich da in der Regel noch haufenweise andere
Sachen auf. Damit konnte ich ohne Problem und ohne das ich andere
Programme schließen musste komplett BaWü durchrödeln.

Wenn man den Kartenbereich beliebig vergrößern wollte würde man
irgendwann auf zwei Problem stoßen:
1. der Traffic
2. die OSM-Daten besorgen

ersteres könnte man wahrscheinlich am einfachsten auf zwei Server
verteilen, indem man auf den einen die Statistik und auf den anderen die
Slippimap ablegt. Wenn irgendwann der Traffic für die POI-Bilder zu groß
werden würde könnte man diese auch problemlos auf beliebig viele andere
Server verteilen. Aber ich denke das dürfte so schnell nicht der Fall
sein ;-)

zweiteres ist dann schon ein größeres Problem. Viel größere Bereiche als
momentan sollte man eigentlich nicht von den OSM-Servern abrufen, um
diese nicht unnötig zu belasten. Eine Alternative wären die von der
geofabrik bereitgestellten Ausschnitte aus den planet files - wie z.B.
BaWü oder Deutschland - zu verwenden. Da ist dann das Problem, das man
diese Datei erst einmal in passende Stücke schneiden müsste um oms-wolf
damit füttern zu können. Mit der BaWü-Datei habe ich es mal mit osmosis
gemacht. Das hat auf meinem 1,25 GHz Mac rund zwei Tage gedauert.
Alternativ zu osmosis gibt es auch noch osmcut, das allerdings erst
einmal ein wenig erweitert werden müsste, da es unter anderen momentan
keine Relationen unterstützt. Und die dritte alternative wäre sich eine
DB mit postgis-Unterstützung einzurichten. Das dürfte recht performant
sein und auch vom Speicherbedarf noch OK sein. Die OSM-Server benötigen
um den  Knoten-Index der kompletten Welt im RAM zu halten rund 11 Gig.
Das habe ich selbst aber noch nicht ausprobiert. Wenn Dir mal langweilig
ist könntest Du ja mal ausprobieren solch einen Server aufzusetzen um zu
sehen, wie performant die Geschichte ist und ob es evtl. eine
interessante Alternative der Datenbeschaffung wäre ;-)

Grüßle, detlef