[OSM-Devserver] Infos über neue Straßenlistenanwendung listofstreets

[Dietmar]

Hallo,

ich habe heute einen Antrag für eine neue Straßenlisten-Anwendung gestellt
[1] und Sven hat mich gebeten, hier zu posten, was ich brauche, damit
geklärt werden kann, ob ich mit der Anwendung auf dem devserver richtig bin
oder nicht.

Ich suche einen Host, auf dem ein Abzug der osm-Datenbank läuft mit
anfänglich mindestens der räumlichen Ausdehnung von Deutschland und
möglichst tagesaktuell.

Während der Entwicklung habe lokal auf meinem Notebook (unter Windows) mit
postgressql 8.3 und postgis 1.5 eine lokale DB erstellt mit dem osmosis
simple Schema.
Vor dem Import, was aber nur aus Platzgründen erfolgte, habe ich mit osmosis
ein Bundesland planet-File noch gefiltert und nur Teile davon für den Import
vorbereitet.

Statt des osmosis simple Schema könnte ich auch eine ggfs. vorhandene
osm2pgsql DB nehmen. In dem Fall wäre es aber gut, wenn dort die OSM-Tags in
einer hstore-Spalte vorliegen, dann ist der Anpassungsaufwand gering.

Neben dem Zugriff auf eine DB, wie oben beschrieben, bräuchte ich noch 4
extra Tabellen für meine Anwendung.

Die Anwendung ist in java geschrieben und besteht aus mehreren, kleinen
Programmen. Die bisherigen Programmteile laufen alle im Batch-Betrieb und
werden über cronjob gestartet. Ergebnis sind statische HTML-Seiten, damit
bei Nutzung der Seiten keine Last mehr erfolgt.

Was macht meine Anwendung?
+ einmalig: import aller vorhandenen Straßenlisten von früher von der
Florian Lohoff Anwendung (derzeit nur 700 Straßenlisten verfügbar von
geschätzt 3000-4000. Florian habe ich mehrfach angemailt, zuletzt hat er in
Aussicht gestellt, mir diese mal zukommen zu lassen)
+ zylisch (z.b. täglich) holen von Straßenlisten über gespeicherte URLs
(innerhalb Java, ohne wget oder andere Zusätze) und lokales speichern in db
+ prüfen boundary-relationen und erstellen postgis multipolygone, sofern
Relationen/Segmente vollständig vorliegen. Holen höherer Admin-Hierarchien
zu den boudary-relationen (derzeit über place-Objekte wg. kleinem
planet-Abzug in Entwicklung). Wenn Hierarchie nicht ermittelbar, mapquest
nominatim api calls zur Hierarchie-Ermittlung
+ eigentliche Auswertung Soll vs. OSM Ist-Straßen. Für fehlende OSM-Straßen
html-Seite mit google map api-calls (laufen clientseitig, wenn user Seite
aufruf) und Speicherung Ergebnisse, auch für spätere Version Verlauf
Auswertung über längeren Zeitraum. Flag-setzen bei den Straßen, die in OSM
fehlen.
+ Erstellung der statischen html-Seiten.
+ serverseitiges Abfragen der Koordinaten der fehlenden OSM Straßen über
google map api--Anfragen und Speicherung für spätere Auswertungsläufe, damit
in der statischen Seite für google Anzeige fehlende Straßen Koordinaten
schon vorliegen und nicht immer clientseitig neu ermittelt werden.

Was brauche ich zur Entwicklung?
- postgresql und postgis, DB-Abzug in einem der o.g. Schemata
- java driver für postgres Zugriff
- Zugriffe von Java ins internet für die api-calls (native java aufrufe,
keine Ahnung, vermutlich http port 80)
- cronjob Einträge
- normales Zeugs zip oder tar und gz

Resourcen
Bei mir lokal läuft die Auswertung bayern-weit 40min auf einem 4jahre alten
Notebook mit 1GB Hauptspeicher. Ich schätze, auf einem normalen Server läuft
das in etwa in 10-15min durch. Auf Deutschland hochgerechnet und mit
vorauss. 4000 Straßenlisten gehe ich von worst-case 4-5h Laufzeit je Tag
aus. Vermutlich aber deutlich weniger.

Stichwort je Tag. Früher lief Florians Auswertung täglich. Wenn meine
vorerst 2 oder 3mal täglich läuft, dürfte das für 2 Monate reichen. Ich
schätze, daß dann wieder ein größerer Teil der Anwender der
Florian-Anwendung aktiv geworden sind und dann wären tägliche Update
sinnvoll/wünschenswert.

Größe des Gebiets (= DB-Abzugumfang)
Bei Florian war Deutschland überwiegend der Nutzerkreis.
Österreich war gerade dabei, erste Gemeinden zu ergänzen.
Luxemburg wurde kurz vor offline stellen des System wohl komplett importiert
worden.
Andere Länder hatten keine Listen eingepflegt.

Da auch Sven Anders seinen Straßenlistenabgleich aufgeben will (wg. neuer
Prioritäten), könnten diese auch mit integriert werden. Die Anzahl der
Listen ist unklar, aber wesentlich weniger als in Florians Anwendung (ich
vermute, max 500 Listen).

Ich hoffe, ich habe Euch einige Eindrücke geben können, damit Ihr
einschätzen könnt, ob meine Anwendung bei Euch gehostet werden sollte (wg.
Bedeutung für osm) und aus Kapazitätsgründen noch dazupasst.


Viele Grüße

Dietmar aka okilimu

P.S. ich bin auf der sotm in Wien vor Ort. Vielleicht können wir dort auch
einiges besprechen.


[1] http://wiki.openstreetmap.org/wiki/FOSSGIS/Server/Projects/listofstreets