[OSM-Devserver] Worldfile
Carsten Schwede
computerteddy at gmx.de
Di Feb 22 14:27:50 CET 2011
Hallo,
ich habe alles vorbereitet, so daß ich diese Woche mal einen Lauf der
Erstellung meiner vielen Karten loslassen könnte.
Ich mache das normalerweise so (auf dem Server, wo das momentan läuft),
daß ich am Mittwoch per cron ein Script starte, was regelmäßig
nachsieht, ob der Planetdump schon auf planet.openstreetmap.org
bereitsteht. Das passiert momentan dann üblicherweise Donnerstag
Vormittag. Dann wird der Dump heruntergeladen und losgearbeitet.
Die restlichen Ausschnitte, die ich noch verwende, sind der
Europaausschnitt, der Deutschlandausschnitt, die Kanaren und der
Spanienausschnitt, diese werden dann heruntergeladen, wenn sie im
Gesamtprozeß dran sind. Ich habe hier noch keine Optimierung der
Ausschnitte, so daß ich z.B. alle Daten aus einem Download hole oder so.
Das spart allerdings auch etwas Zeit.
Zum Schluß kopiere ich alle Karten und die Kacheln auf meinen Webserver
und lösche auf dem Devserver noch nicht mehr benötigte Dateien.
Um den Schneideprozeß durchzuführen benötige ich allerdings noch ein
erweitertes Limit für die Anzahl der gleichzeitig offenen Dateien:
computerteddy at gauss:/osm/garmin/worldfile$ ulimit -n
1024
Hier benötige ich 64000
@Sven: kannst Du mir das Limit bitte erhöhen.
Kann ich den ersten Test mal so durchführen, oder gibt es noch
Vorschläge wie ich was gleich jetzt verbessern könnte?
Gesamtlast, die ich vorraussichtlich erzeuge:
- ca. 300GB max. Plattenbelegung während des Prozesses auf
/osm/garmin/worldfile
- 15GB Plattenverbrauch unter /home/computerteddy
- max. 8GB Speicherverbrauch (steht als Begrenzung bei den Java-Aufrufen)
In meinem Logfile stehtn dann immer Datum und uhrzeit, wenn ein Prozeß
durch ist, und natürlich Anfang und Endezeit. Ist allerdings recht groß
das Logfile, weil ich alles an Ausgabe da rein schreibe, damit ich
Fehlersuche betreiben kann.
Ich bin Do/Fr zu Hause und kann das Ganze überwachen, damit nichts an
die Wand fährt.
--
Viele Grüße
Carsten