[OSM-Devserver] Worldfile

Carsten Schwede computerteddy at gmx.de
Di Feb 22 14:27:50 CET 2011


Hallo,

ich habe alles vorbereitet, so daß ich diese Woche mal einen Lauf der 
Erstellung meiner vielen Karten loslassen könnte.

Ich mache das normalerweise so (auf dem Server, wo das momentan läuft), 
daß ich am Mittwoch per cron ein Script starte, was regelmäßig 
nachsieht, ob der Planetdump schon auf planet.openstreetmap.org 
bereitsteht. Das passiert momentan dann üblicherweise Donnerstag 
Vormittag. Dann wird der Dump heruntergeladen und losgearbeitet.
Die restlichen Ausschnitte, die ich noch verwende, sind der 
Europaausschnitt, der Deutschlandausschnitt, die Kanaren und der 
Spanienausschnitt, diese werden dann heruntergeladen, wenn sie im 
Gesamtprozeß dran sind. Ich habe hier noch keine Optimierung der 
Ausschnitte, so daß ich z.B. alle Daten aus einem Download hole oder so. 
Das spart allerdings auch etwas Zeit.

Zum Schluß kopiere ich alle Karten und die Kacheln auf meinen Webserver 
und lösche auf dem Devserver noch nicht mehr benötigte Dateien.

Um den Schneideprozeß durchzuführen benötige ich allerdings noch ein 
erweitertes Limit für die Anzahl der gleichzeitig offenen Dateien:

computerteddy at gauss:/osm/garmin/worldfile$ ulimit -n
1024

Hier benötige ich 64000

@Sven: kannst Du mir das Limit bitte erhöhen.

Kann ich den ersten Test mal so durchführen, oder gibt es noch 
Vorschläge wie ich was gleich jetzt verbessern könnte?

Gesamtlast, die ich vorraussichtlich erzeuge:

- ca. 300GB max. Plattenbelegung während des Prozesses auf 
/osm/garmin/worldfile
- 15GB Plattenverbrauch unter /home/computerteddy
- max. 8GB Speicherverbrauch (steht als Begrenzung bei den Java-Aufrufen)

In meinem Logfile stehtn dann immer Datum und uhrzeit, wenn ein Prozeß 
durch ist, und natürlich Anfang und Endezeit. Ist allerdings recht groß 
das Logfile, weil ich alles an Ausgabe da rein schreibe, damit ich 
Fehlersuche betreiben kann.

Ich bin Do/Fr zu Hause und kann das Ganze überwachen, damit nichts an 
die Wand fährt.

-- 
Viele Grüße
Carsten