From fossgis at dstoecker.de Tue Feb 1 14:50:35 2011 From: fossgis at dstoecker.de (=?ISO-8859-15?Q?Dirk_St=F6cker?=) Date: Tue, 1 Feb 2011 14:50:35 +0100 (CET) Subject: [OSM-Devserver] java prozesse sterben - hat einer ne Idee? In-Reply-To: <4D46F17F.5030701@googlemail.com> References: <4D46DA0E.10008@googlemail.com> <4D46F17F.5030701@googlemail.com> Message-ID: On Mon, 31 Jan 2011, Christoph Wagner wrote: >>> Erstmal ein Update von OpenJDK versuchen, dann einen Bugreport erstellen >>> und dann Sun-Java probieren :-) > > Naja, da müsste man erstmal genau wissen, was da abgeht für nen anständigen bugreport. > Vielleicht überspring ich den Teil doch nochmal kurz... Nein. Das ist deren Aufgabe. Die ausgegebene Fehlermeldung und vielleicht das Programm plus Aufruf sind die notwendigen Zutaten. Was da schief läuft muss Dich nicht interessieren. Wenn es keiner meldet, kann es auch nicht behoben werden. Ciao -- http://www.dstoecker.eu/ (PGP key available) From lists at fuchsschwanzdomain.de Tue Feb 1 17:15:51 2011 From: lists at fuchsschwanzdomain.de (Sven Geggus) Date: Tue, 1 Feb 2011 16:15:51 +0000 (UTC) Subject: [OSM-Devserver] java prozesse sterben - hat einer ne Idee? References: <4D46DA0E.10008@googlemail.com> <4D46F17F.5030701@googlemail.com> Message-ID: Christoph Wagner wrote: > Wäre nett, wenn du das mal reintust. Dann probier ich am Mittwoch nochmal. /usr/lib/jvm/java-6-sun/jre/bin/java Default ist immer noch openjdk. Damit hatte ich eigentlich bisher nur gute Erfahrungen. Gruss Sven -- How to prevent Java from forking? Use a spoon. (Found on http://slashdot.org) /me is giggls at ircnet, http://sven.gegg.us/ on the Web From AlexanderMatheisen at ish.de Sat Feb 12 12:32:32 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Sat, 12 Feb 2011 12:32:32 +0100 Subject: [OSM-Devserver] Spezialtabellen Message-ID: <1297510352.1775.10.camel@alex> Hallo, ich will das Laden der Punkte in OLM beschleunigen. Daher kam mir die Idee, ähnlich wie im Projekt poi-tools (http://wiki.openstreetmap.org/wiki/FOSSGIS/Server/Projects/poi-tools) "Spezialtabellen" anzulegen, die nur die benötigten Objekte enthalten, dazu dann nur id, lat, lon, objekttyp und evtl. noch die Tilenummer, da das schneller sein sollte als ein Abfragen nach Bbox, das werde ich aber noch genauer testen. Frage: Wie kann ich das einbauen? Die erste Liste könnte ich bei mir auf meinem Rechner generieren, das dann aktuell zu halten ist dann das Problem. Vielleicht könnte man das so machen das beim Anwenden eines Diffs auf die hstore-DB auch ein Script aufgerufen wird, das die Änderung auf meine Tabelle anwendet? So ein Script hab ich im Prinzip fertig, es liest eben das Diff ein und macht dann bei create ein INSERT, bei modify UPDATE und delete ein DELETE und berechnet - wenn ich das mit den Tilenummern einbaue - auch gleich die Kachelnummern. (Genauer brauch ich die Funktionsweise wahrscheinlich nicht erklären, das werdet ihr schon nachvollziehen können) Zusammenfassend müsste also nur mein Script beim Einspielen des DB-Diffs aufgerufen werden. Habt ihr vielleicht Erfahrungen mit etwas ähnlichem, wisst also, ob das wirklich merkbar schneller wird, oder ist mein Vorschlag irgendwie Unsinn? Und sind genug Ressourcen da oder wären das nur zusätzliche Belastungen für den Server? Alex From ekkehart at gmx.de Sat Feb 12 12:55:18 2011 From: ekkehart at gmx.de (Nop) Date: Sat, 12 Feb 2011 12:55:18 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <1297510352.1775.10.camel@alex> References: <1297510352.1775.10.camel@alex> Message-ID: <4D567526.7070403@gmx.de> Hi! Am 12.02.2011 12:32, schrieb Alexander Matheisen: > Daher kam mir die Idee, "Spezialtabellen" anzulegen, die nur die benötigten Objekte enthalten, > Habt ihr vielleicht Erfahrungen mit etwas ähnlichem, wisst also, ob das > wirklich merkbar schneller wird, oder ist mein Vorschlag irgendwie > Unsinn? Ich habe für die Wanderkarte genau das gemacht und eine zusätzliche Tabelle nur für die POIs angelegt. Select passiert auch dort über BBOX. Die Abfrage geht wesentlich schneller. Ich führe das u.a. auch darauf zurück, daß die Datenmenge wesentlich geringer ist, so daß die DB den Index mühelos im Speicher halten und auswerten kann. Zu Diff-Updates kann ich nichts sagen, ich mache immer Komplettupdates. bye Nop From AlexanderMatheisen at ish.de Sat Feb 12 13:37:12 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Sat, 12 Feb 2011 13:37:12 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <4D567526.7070403@gmx.de> References: <1297510352.1775.10.camel@alex> <4D567526.7070403@gmx.de> Message-ID: <1297514232.1775.12.camel@alex> Hallo, > Die Abfrage geht wesentlich schneller. Ich führe das u.a. auch darauf > zurück, daß die Datenmenge wesentlich geringer ist, so daß die DB den > Index mühelos im Speicher halten und auswerten kann. Schneller sollte das auf jeden Fall sein, wenn es nicht reicht kann ich ja immer noch die Tilenummern einfügen. > Zu Diff-Updates kann ich nichts sagen, ich mache immer Komplettupdates. Wie lange dauern die so und welche Datenmengen sind das? Alex From lists at fuchsschwanzdomain.de Sat Feb 12 13:46:25 2011 From: lists at fuchsschwanzdomain.de (Sven Geggus) Date: Sat, 12 Feb 2011 12:46:25 +0000 (UTC) Subject: [OSM-Devserver] Spezialtabellen References: <1297510352.1775.10.camel@alex> Message-ID: Alexander Matheisen wrote: > Frage: Wie kann ich das einbauen? Die erste Liste könnte ich bei mir auf > meinem Rechner generieren, das dann aktuell zu halten ist dann das > Problem. Vielleicht könnte man das so machen das beim Anwenden eines > Diffs auf die hstore-DB auch ein Script aufgerufen wird, das die > Änderung auf meine Tabelle anwendet? Davon halte ich nicht viel. Wenn man sowas macht müsste man das IMO direkt im DB import machen. In unserem Fall also in osm2pgsql. Eventuell soltle man sich auch mal das neue osmosis Schema anschaun vielleicht ist das ja für den Zweck der POI Karten inzwischen geeigneter als noch vor einem Jahr. Deine Spezialtabellen wären ja aus zwei Gründen schneller als die bisherigen Universaltabellen: 1. Im Pre-prozessing Schritt werden bereits die Schwerpunkte der Polygone berechnet werden und dadurch braucht man keine aufwendigen ST_PointOnSurface oder gar ST_isValid Berechnungen mehr in den Datenbankabfragen. Das sollte man eigentlich mal in osm2pgsql reinpatchen. Der Aufwand dürfte sich in Grenzen halten. Dieses Problem sollte sich durch die Einführung eines Flächenobjekts in OSM das AFAIK ohnehin geplant ist erheblich entschärfen. 2. Deine Tabellen enthalten nur das, was Dich interessiert und sind dadurch kleiner aber natürlich auch unflexibler. Ich wollte ja explizit etwas haben das direkten Zugriff auf jeden neu erfundenen Tag erlaubt. Ich werde mir bei Gelegenheit mal die Neue XAPI anschaun und meine Brauereikarte eventuell darauf umstellen sodass keine eigene Datenhaltung mehr nötig sein wird. Gruss Sven -- "I'm a bastard, and proud of it" (Linus Torvalds, Wednesday Sep 6, 2000) /me is giggls at ircnet, http://sven.gegg.us/ on the Web From AlexanderMatheisen at ish.de Sat Feb 12 14:21:09 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Sat, 12 Feb 2011 14:21:09 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: References: <1297510352.1775.10.camel@alex> Message-ID: <1297516869.1775.21.camel@alex> > Davon halte ich nicht viel. Wenn man sowas macht müsste man das > IMO direkt im DB import machen. In unserem Fall also in osm2pgsql. Irgendwo (vielleicht per Cronjob) kann man ja einfach mein Script aufrufen, mit dem Dateinamen des gerade eingespielten Difffiles als Parameter, oder? > 1. Im Pre-prozessing Schritt werden bereits die Schwerpunkte der > Polygone berechnet werden und dadurch braucht man keine aufwendigen > ST_PointOnSurface oder gar ST_isValid Berechnungen mehr in den > Datenbankabfragen. > > Das sollte man eigentlich mal in osm2pgsql reinpatchen. Der Aufwand > dürfte sich in Grenzen halten. Dieses Problem sollte sich durch die > Einführung eines Flächenobjekts in OSM das AFAIK ohnehin geplant ist > erheblich entschärfen. > > 2. Deine Tabellen enthalten nur das, was Dich interessiert und sind > dadurch kleiner aber natürlich auch unflexibler. Ich wollte ja > explizit etwas haben das direkten Zugriff auf jeden neu erfundenen > Tag erlaubt. Für meine Anwendung reicht das aber. Ich brauche eben nicht irgendwelche Tags, sondern nur die, die ich auch anzeige, was sich nicht so schnell ändern wird. Und für die Infos in den Popups würde ich weiterhin die hstore Datenbank abfragen, die für solche Abfragen via id schnell genug und muss nicht optimiert werden. > Ich werde mir bei Gelegenheit mal die Neue XAPI anschaun und meine > Brauereikarte eventuell darauf umstellen sodass keine eigene > Datenhaltung mehr nötig sein wird. Für kleine Datenmengen geht das, aber wenn alle Spezialkarten auf die XAPI zugreifen, wird die mit der Zeit auch langsam... Außerdem muss man da auch wieder Mittelpunkte etc. berechnen. Alex From frederik at remote.org Sat Feb 12 15:04:31 2011 From: frederik at remote.org (Frederik Ramm) Date: Sat, 12 Feb 2011 15:04:31 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <1297510352.1775.10.camel@alex> References: <1297510352.1775.10.camel@alex> Message-ID: <20110212150431.27abdf3c@ayla> Hallo, > So ein Script hab ich im Prinzip fertig, es liest eben das Diff ein > und macht dann bei create ein INSERT, bei modify UPDATE und delete ein > DELETE und berechnet Ein "modify" kann je nach dem, was modifiziert wird, aber auch zu einem INSERT oder DELETE bei Deiner Datenbank fuehren. Tiles sind unnoetig, das macht der Index praktisch intern fuer Dich. Grundsaetzlich wuerde das schon funktionieren, aber es skaliert natuerlich nicht so gut (a.k.a. "wenn das jeder machen wuerde...") Bye Frederik From tobias.wendorff at uni-dortmund.de Sat Feb 12 15:06:20 2011 From: tobias.wendorff at uni-dortmund.de (Tobias Wendorff) Date: Sat, 12 Feb 2011 15:06:20 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: References: <1297510352.1775.10.camel@alex> Message-ID: <3f8b2d3ab081ab48ac2023c4ed15fd46.squirrel@webmail.tu-dortmund.de> Am Sa, 12.02.2011, 13:46 schrieb Sven Geggus: > Das sollte man eigentlich mal in osm2pgsql reinpatchen. Der Aufwand > dürfte sich in Grenzen halten. Dieses Problem sollte sich durch die > Einführung eines Flächenobjekts in OSM das AFAIK ohnehin geplant ist > erheblich entschärfen. Sven, sowas sagt sich leicht. Die Leute, die es brauchen, können es nicht "reinpatchen" und die Leute, die es können, brauchen die Funktion nicht. osm2pgsql verwendet bereits jetzt GEOS, wodurch man eine Menge Berechnungen vorab durchführen lassen könnte, z.B. das von Dir angesprochene is_valid. Wir hatten die Diskussion vor ein paar Monaten schon ;-) Problem war aber auch schon damals, dass ich es aus fehlender C-Erfahrung nicht hinbekommen habe. Ich finde, sowas gehört eher osm2pgsql als diese Gazateer-Mist. Ich würde gerne helfen, kann aber nicht. Das nervt :-( From AlexanderMatheisen at ish.de Sat Feb 12 15:19:37 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Sat, 12 Feb 2011 15:19:37 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <20110212150431.27abdf3c@ayla> References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> Message-ID: <1297520377.1775.25.camel@alex> > > So ein Script hab ich im Prinzip fertig, es liest eben das Diff ein > > und macht dann bei create ein INSERT, bei modify UPDATE und delete ein > > DELETE und berechnet > > Ein "modify" kann je nach dem, was modifiziert wird, aber auch zu einem > INSERT oder DELETE bei Deiner Datenbank fuehren. Bei einem modify wollte ich einfach die bisherigen Koordinaten / Centroid durch einen neu berechneten ersetzen. > Tiles sind unnoetig, das macht der Index praktisch intern fuer Dich. > > Grundsaetzlich wuerde das schon funktionieren, aber es skaliert > natuerlich nicht so gut (a.k.a. "wenn das jeder machen > wuerde...") Auf dem Devserver wäre sonst ja nur noch die Post und Telefonkarte als Markerkarte in diesem Sinne, von daher... Alex From AlexanderMatheisen at ish.de Sat Feb 12 15:21:28 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Sat, 12 Feb 2011 15:21:28 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <3f8b2d3ab081ab48ac2023c4ed15fd46.squirrel@webmail.tu-dortmund.de> References: <1297510352.1775.10.camel@alex> <3f8b2d3ab081ab48ac2023c4ed15fd46.squirrel@webmail.tu-dortmund.de> Message-ID: <1297520488.1775.27.camel@alex> Am Samstag, den 12.02.2011, 15:06 +0100 schrieb Tobias Wendorff: > Am Sa, 12.02.2011, 13:46 schrieb Sven Geggus: > > Das sollte man eigentlich mal in osm2pgsql reinpatchen. Der Aufwand > > dürfte sich in Grenzen halten. Dieses Problem sollte sich durch die > > Einführung eines Flächenobjekts in OSM das AFAIK ohnehin geplant ist > > erheblich entschärfen. > > Sven, sowas sagt sich leicht. Die Leute, die es brauchen, > können es nicht "reinpatchen" und die Leute, die es können, > brauchen die Funktion nicht. > > osm2pgsql verwendet bereits jetzt GEOS, wodurch man eine > Menge Berechnungen vorab durchführen lassen könnte, z.B. > das von Dir angesprochene is_valid. Wir hatten die > Diskussion vor ein paar Monaten schon ;-) Problem war aber > auch schon damals, dass ich es aus fehlender C-Erfahrung > nicht hinbekommen habe. Ich finde es jetzt auch einfach nur mein Script nach dem Einspielen eines Diffs aufzurufen statt da irgendwas zu modifizieren, zumal ich das sowieso nicht könnte und das wieder jemand anderes für mich machen müsste. Dann bin ich irgendwo wieder abhängig von anderen... Alex From frederik at remote.org Sat Feb 12 19:53:21 2011 From: frederik at remote.org (Frederik Ramm) Date: Sat, 12 Feb 2011 19:53:21 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <1297520377.1775.25.camel@alex> References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> Message-ID: <4D56D721.5050701@remote.org> Hallo, Alexander Matheisen wrote: >>> So ein Script hab ich im Prinzip fertig, es liest eben das Diff ein >>> und macht dann bei create ein INSERT, bei modify UPDATE und delete ein >>> DELETE und berechnet >> Ein "modify" kann je nach dem, was modifiziert wird, aber auch zu einem >> INSERT oder DELETE bei Deiner Datenbank fuehren. > > Bei einem modify wollte ich einfach die bisherigen Koordinaten / > Centroid durch einen neu berechneten ersetzen. Eventuell missverstehe ich, was Du genau tust. Aber angenommen, Du hast den Node X nicht in Deiner Spezialtabelle, weil er z.B. kein amenity=bla hatte, als Du importiert hast. Nun kommt ein "modify" fuer Node X hinein, der neu das Tag amenity=restaurant setzt. Ploetzlich willst Du den haben -> bei Dir ein "INSERT". Umgekehrt, hast Du den Node Y in der Datenbank, weil er beim Import "amenity=restaurant" war, und nun kommt ein "modify", der das ganze auf "historic=ruins" umsetzt, willst Du ihn vielleicht bei Dir loeschen? Und "Centroid" geht natuerlich nur dann, wenn das osm2pgsql das gleiche diff vorher schon appliziet hat und Du zugriff auf die polygons-Tabelle hast - sonst wuerde Dir ja die Nodes fehlen. Bye Frederik -- Frederik Ramm ## eMail frederik at remote.org ## N49°00'09" E008°23'33" From AlexanderMatheisen at ish.de Sun Feb 13 00:28:11 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Sun, 13 Feb 2011 00:28:11 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <4D56D721.5050701@remote.org> References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> Message-ID: <1297553291.1542.2.camel@alex> Hallo, > Eventuell missverstehe ich, was Du genau tust. Aber angenommen, Du hast > den Node X nicht in Deiner Spezialtabelle, weil er z.B. kein amenity=bla > hatte, als Du importiert hast. Nun kommt ein "modify" fuer Node X > hinein, der neu das Tag amenity=restaurant setzt. Ploetzlich willst Du > den haben -> bei Dir ein "INSERT". Dann muss ich eben bei modify noch die Tags prüfen. > Umgekehrt, hast Du den Node Y in der > Datenbank, weil er beim Import "amenity=restaurant" war, und nun kommt > ein "modify", der das ganze auf "historic=ruins" umsetzt, willst Du ihn > vielleicht bei Dir loeschen? Ebenso die Tags prüfen. > Und "Centroid" geht natuerlich nur dann, wenn das osm2pgsql das gleiche > diff vorher schon appliziet hat und Du zugriff auf die polygons-Tabelle > hast - sonst wuerde Dir ja die Nodes fehlen. Ich gehe jetzt davon aus - bzw. will ich das wenn so realisieren - dass mein Diffimport immer im Anschluss an den Diffimport in der hstore DB gemacht wird. Alex From AlexanderMatheisen at ish.de Sun Feb 13 18:34:52 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Sun, 13 Feb 2011 18:34:52 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <1297553291.1542.2.camel@alex> References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> <1297553291.1542.2.camel@alex> Message-ID: <1297618492.1737.0.camel@alex> Wie kann ich denn nun auf die Diffs zugreifen, bzw. wie lässt sich mein Script automatisiert aufrufen immer wenn ein Diff in die hstore DB importiert wurde? Alex From lists at fuchsschwanzdomain.de Mon Feb 14 09:55:41 2011 From: lists at fuchsschwanzdomain.de (Sven Geggus) Date: Mon, 14 Feb 2011 08:55:41 +0000 (UTC) Subject: [OSM-Devserver] Spezialtabellen References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> <1297553291.1542.2.camel@alex> Message-ID: Alexander Matheisen wrote: > Ich gehe jetzt davon aus - bzw. will ich das wenn so realisieren - dass > mein Diffimport immer im Anschluss an den Diffimport in der hstore DB > gemacht wird. Also jeden Minute... *urgs* Sven -- "Ich fürchte mich nicht vor der Rückkehr der Faschisten in der Maske der Faschisten, sondern vor der Rückkehr der Faschisten in der Maske der Demokraten" (Theodor W. Adorno) /me is giggls at ircnet, http://sven.gegg.us/ on the Web From AlexanderMatheisen at ish.de Mon Feb 14 10:22:03 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Mon, 14 Feb 2011 10:22:03 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> <1297553291.1542.2.camel@alex> Message-ID: <1297675323.1774.1.camel@alex> Am Montag, den 14.02.2011, 08:55 +0000 schrieb Sven Geggus: > Alexander Matheisen wrote: > > > Ich gehe jetzt davon aus - bzw. will ich das wenn so realisieren - dass > > mein Diffimport immer im Anschluss an den Diffimport in der hstore DB > > gemacht wird. > > Also jeden Minute... Das war mir schon klar, aber mein Import muss NACH dem Import in der hstore DB stattfinden. Wie kann ich feststellen, ob der Import fertig ist? Alex From frederik at remote.org Mon Feb 14 10:27:57 2011 From: frederik at remote.org (Frederik Ramm) Date: Mon, 14 Feb 2011 10:27:57 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <1297675323.1774.1.camel@alex> References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> <1297553291.1542.2.camel@alex> <1297675323.1774.1.camel@alex> Message-ID: <4D58F59D.90401@remote.org> Hallo, On 02/14/11 10:22, Alexander Matheisen wrote: >>> Ich gehe jetzt davon aus - bzw. will ich das wenn so realisieren - dass >>> mein Diffimport immer im Anschluss an den Diffimport in der hstore DB >>> gemacht wird. >> >> Also jeden Minute... > > Das war mir schon klar, aber mein Import muss NACH dem Import in der > hstore DB stattfinden. Wie kann ich feststellen, ob der Import fertig > ist? "Nach dem Import ist vor dem Import" ;) Du musst Dein Skript doch sowieso in den regelmaessigen osmosis/osm2pgsql-Import einhaengen, damit es die gleichen Diffs geliefert bekommt, oder? Also muss es einfach nach dem osm2pgsql laufen - dann ist logischerweise der Import auch durch. Wenn Du natuerlich zu lange brauchst, kann dadurch dann der naechste Import spaeter starten, und im worst case schaukelt sich alles so lang auf, dass die Datenbank nie mehr aktuell ist ;) Bye Frederik From AlexanderMatheisen at ish.de Mon Feb 14 10:37:40 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Mon, 14 Feb 2011 10:37:40 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <4D58F59D.90401@remote.org> References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> <1297553291.1542.2.camel@alex> <1297675323.1774.1.camel@alex> <4D58F59D.90401@remote.org> Message-ID: <1297676260.1774.4.camel@alex> > "Nach dem Import ist vor dem Import" ;) > > Du musst Dein Skript doch sowieso in den regelmaessigen > osmosis/osm2pgsql-Import einhaengen, damit es die gleichen Diffs > geliefert bekommt, oder? Also muss es einfach nach dem osm2pgsql laufen > - dann ist logischerweise der Import auch durch. Wenn Du natuerlich zu > lange brauchst, kann dadurch dann der naechste Import spaeter starten, > und im worst case schaukelt sich alles so lang auf, dass die Datenbank > nie mehr aktuell ist ;) Wie hänge ich das in den osm2pgsql Import ein? Die Laufzeit werde ich dann noch auf meinem Rechner testen... Alex From lists at fuchsschwanzdomain.de Mon Feb 14 10:44:16 2011 From: lists at fuchsschwanzdomain.de (Sven Geggus) Date: Mon, 14 Feb 2011 09:44:16 +0000 (UTC) Subject: [OSM-Devserver] Spezialtabellen References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> <1297553291.1542.2.camel@alex> <1297675323.1774.1.camel@alex> <4D58F59D.90401@remote.org> Message-ID: Frederik Ramm wrote: > Wenn Du natuerlich zu lange brauchst, kann dadurch dann der naechste > Import spaeter starten, und im worst case schaukelt sich alles so lang > auf, dass die Datenbank nie mehr aktuell ist ;) Da ich mir ziemlich sicher bin, dass genau das passieren wird... @Alexander: hast Du mal Messungen gemacht wie lange dein Prozessiong so dauert? Gruss Sven -- "Der wichtigste Aspekt, den Sie vor der Entscheidung für ein Open Source-Betriebssystem bedenken sollten, ist, dass Sie kein Windows-Betriebssystem erhalten." (von http://www.dell.de/ubuntu) /me is giggls at ircnet, http://sven.gegg.us/ on the Web From lists at fuchsschwanzdomain.de Mon Feb 14 10:47:41 2011 From: lists at fuchsschwanzdomain.de (Sven Geggus) Date: Mon, 14 Feb 2011 09:47:41 +0000 (UTC) Subject: [OSM-Devserver] Spezialtabellen References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> <1297553291.1542.2.camel@alex> <1297675323.1774.1.camel@alex> <4D58F59D.90401@remote.org> <1297676260.1774.4.camel@alex> Message-ID: Alexander Matheisen wrote: > Wie hänge ich das in den osm2pgsql Import ein? Gar nicht, denn das müsste direkt in Peters script rein und wie gesagt davon halte ich wenig bis gar nichts. Du darfst Dir gerne eine _eigene_ Datenbank und einen passenden update mechanismus (neues osmosis schema?) ausdenken und laufen lassen. Aber das so wie Du Dir das vorstellst in die hstore DB reinzupfuschen gefällt mir überhaupt nicht (Stichwort: wenn das jeder machen würde). Gruss Sven -- "Das ist halt der Unterschied: Unix ist ein Betriebssystem mit Tradition, die anderen sind einfach von sich aus unlogisch." (Anselm Lingnau in de.comp.os.unix.discussion) /me ist giggls at ircnet, http://sven.gegg.us/ im WWW From AlexanderMatheisen at ish.de Mon Feb 14 11:08:39 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Mon, 14 Feb 2011 11:08:39 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> <1297553291.1542.2.camel@alex> <1297675323.1774.1.camel@alex> <4D58F59D.90401@remote.org> <1297676260.1774.4.camel@alex> Message-ID: <1297678119.6464.1.camel@alex> Am Montag, den 14.02.2011, 09:47 +0000 schrieb Sven Geggus: > Alexander Matheisen wrote: > > > Wie hänge ich das in den osm2pgsql Import ein? > > Gar nicht, denn das müsste direkt in Peters script rein und wie gesagt davon > halte ich wenig bis gar nichts. > > Du darfst Dir gerne eine _eigene_ Datenbank und einen passenden update > mechanismus (neues osmosis schema?) ausdenken und laufen lassen. Dann mache ich wohl eine eigene DB. Ein passendes Updatescript hatte ich sowieso schon geschrieben, um die Test DB auf meinem Rechner upzudaten. Alex From hakan at gurkensalat.com Mon Feb 14 12:15:43 2011 From: hakan at gurkensalat.com (Hakan Tandogan) Date: Mon, 14 Feb 2011 12:15:43 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <1297678119.6464.1.camel@alex> References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> <1297553291.1542.2.camel@alex> <1297675323.1774.1.camel@alex> <4D58F59D.90401@remote.org> <1297676260.1774.4.camel@alex> <1297678119.6464.1.camel@alex> Message-ID: <47d8072f5a70936f5082732030a9922c.squirrel@gurkensalat.dyndns.org> > Am Montag, den 14.02.2011, 09:47 +0000 schrieb Sven Geggus: >> Alexander Matheisen wrote: >> >> > Wie hänge ich das in den osm2pgsql Import ein? >> >> Gar nicht, denn das müsste direkt in Peters script rein und wie gesagt >> davon >> halte ich wenig bis gar nichts. >> >> Du darfst Dir gerne eine _eigene_ Datenbank und einen passenden update >> mechanismus (neues osmosis schema?) ausdenken und laufen lassen. > > Dann mache ich wohl eine eigene DB. Ein passendes Updatescript hatte ich > sowieso schon geschrieben, um die Test DB auf meinem Rechner upzudaten. Kannst du mir dein Skript schicken? Ich habe ein sehr ähnliches Problem mit der OpenSeaMap... Tschüß, Hakan -- The key to immortality is first living a life worth remembering... From AlexanderMatheisen at ish.de Tue Feb 15 18:38:33 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Tue, 15 Feb 2011 18:38:33 +0100 Subject: [OSM-Devserver] Spezialtabellen In-Reply-To: <47d8072f5a70936f5082732030a9922c.squirrel@gurkensalat.dyndns.org> References: <1297510352.1775.10.camel@alex> <20110212150431.27abdf3c@ayla> <1297520377.1775.25.camel@alex> <4D56D721.5050701@remote.org> <1297553291.1542.2.camel@alex> <1297675323.1774.1.camel@alex> <4D58F59D.90401@remote.org> <1297676260.1774.4.camel@alex> <1297678119.6464.1.camel@alex> <47d8072f5a70936f5082732030a9922c.squirrel@gurkensalat.dyndns.org> Message-ID: <1297791513.1787.0.camel@alex> > Kannst du mir dein Skript schicken? Ich habe ein sehr ähnliches Problem > mit der OpenSeaMap... Ich muss es noch ein wenig anpassen, ist noch nicht ganz fertig. Schicke es dir bei Gelegenheit... Alex From AlexanderMatheisen at ish.de Wed Feb 16 16:44:21 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Wed, 16 Feb 2011 16:44:21 +0100 Subject: [OSM-Devserver] DB einrichten Message-ID: <1297871061.1808.1.camel@alex> Hallo, will mir nun meine eigene DB einrichten, scheitert aber an den Rechten bzw. dem benötigten sudo Passwort: sudo -u postgres psql -d olm-list -f /usr/share/postgresql/8.3/contrib/_int.sql Alex From lists at fuchsschwanzdomain.de Wed Feb 16 17:35:21 2011 From: lists at fuchsschwanzdomain.de (Sven Geggus) Date: Wed, 16 Feb 2011 16:35:21 +0000 (UTC) Subject: [OSM-Devserver] DB einrichten References: <1297871061.1808.1.camel@alex> Message-ID: Alexander Matheisen wrote: > will mir nun meine eigene DB einrichten, scheitert aber an den Rechten > bzw. dem benötigten sudo Passwort: > > sudo -u postgres psql -d olm-list > -f /usr/share/postgresql/8.3/contrib/_int.sql Also dass "sudo -u postgres" nicht funktioniert ist ein Feature! Es gibt überhaupt keinen Grund irgendjemandem derart weitreichende Rechte zu gebem. Würde ich das erlauben könnte ich mir die Rechtevergabe in psql unterm Strich komplett sparen und einfach jedem alles erlauben! Um mit der Datenbank zu arbeiten braucht man definitiv keine dbadmin Rechte. _int.sql ist im osmtemplate aktiviert, schon weil osm2pgsql das braucht. Das heißt Du brauchst einfach nur beim createdb genau dieses Template verwenden: createdb -T osmtemplate und gut iss. Gruss Sven -- "In the land of the brave and the free, we defend our freedom with the GNU GPL" (Richard M. Stallman on www.gnu.org) /me is giggls at ircnet, http://sven.gegg.us/ on the Web From AlexanderMatheisen at ish.de Wed Feb 16 18:15:56 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Wed, 16 Feb 2011 18:15:56 +0100 Subject: [OSM-Devserver] DB einrichten In-Reply-To: References: <1297871061.1808.1.camel@alex> Message-ID: <1297876556.1748.10.camel@alex> > Es gibt überhaupt keinen Grund irgendjemandem derart weitreichende Rechte zu > gebem. > > Würde ich das erlauben könnte ich mir die Rechtevergabe in psql unterm > Strich komplett sparen und einfach jedem alles erlauben! > > Um mit der Datenbank zu arbeiten braucht man definitiv keine dbadmin Rechte. > > _int.sql ist im osmtemplate aktiviert, schon weil osm2pgsql das braucht. > > Das heißt Du brauchst einfach nur beim createdb genau dieses Template > verwenden: > > createdb -T osmtemplate > > und gut iss. Wusste nichts von diesem Template, daher hatte ich keine Ahnung, wie man das sonst ohne solche Rechte machen kann. Alex From tobias.wendorff at uni-dortmund.de Wed Feb 16 23:59:30 2011 From: tobias.wendorff at uni-dortmund.de (Tobias Wendorff) Date: Wed, 16 Feb 2011 23:59:30 +0100 Subject: [OSM-Devserver] DB einrichten In-Reply-To: <1297876556.1748.10.camel@alex> References: <1297871061.1808.1.camel@alex> <1297876556.1748.10.camel@alex> Message-ID: <352d76328baf221bd49bdc47ea73c182.squirrel@webmail.tu-dortmund.de> Am Mi, 16.02.2011, 18:15 schrieb Alexander Matheisen: > Wusste nichts von diesem Template, daher hatte ich keine Ahnung, wie man > das sonst ohne solche Rechte machen kann. Ich hab' mir Port 5432 rausgetunnelt und mache das alles in einem PSQL-Manager. Da kann man z.B. auch die Rechte und Templates einsehen. Achja - die Frage kommt sicher... hier die Antwort darauf: "www-user" muss darauf lesen können ;-) From lists at fuchsschwanzdomain.de Thu Feb 17 14:53:58 2011 From: lists at fuchsschwanzdomain.de (Sven Geggus) Date: Thu, 17 Feb 2011 13:53:58 +0000 (UTC) Subject: [OSM-Devserver] DB einrichten References: <1297871061.1808.1.camel@alex> <1297876556.1748.10.camel@alex> <352d76328baf221bd49bdc47ea73c182.squirrel@webmail.tu-dortmund.de> Message-ID: Tobias Wendorff wrote: > Ich hab' mir Port 5432 rausgetunnelt und mache das alles in einem > PSQL-Manager. Da kann man z.B. auch die Rechte und Templates einsehen. Klick und Bunt Tools fördern nicht unbedingt das allgemeine Verständnis. Da wiess man nämlich dann oft in der Regel nicht mehr wie das "von Hand" geht. Gruss Sven -- How to prevent Java from forking? Use a spoon. (Found on http://slashdot.org) /me is giggls at ircnet, http://sven.gegg.us/ on the Web From tobias.wendorff at tu-dortmund.de Thu Feb 17 18:27:21 2011 From: tobias.wendorff at tu-dortmund.de (Tobias Wendorff) Date: Thu, 17 Feb 2011 18:27:21 +0100 Subject: [OSM-Devserver] DB einrichten In-Reply-To: References: <1297871061.1808.1.camel@alex> <1297876556.1748.10.camel@alex> <352d76328baf221bd49bdc47ea73c182.squirrel@webmail.tu-dortmund.de> Message-ID: <4D5D5A79.7090609@tu-dortmund.de> Am 17.02.2011 14:53, schrieb Sven Geggus: > Tobias Wendorff wrote: > >> Ich hab' mir Port 5432 rausgetunnelt und mache das alles in einem >> PSQL-Manager. Da kann man z.B. auch die Rechte und Templates einsehen. > > Klick und Bunt Tools fördern nicht unbedingt das allgemeine Verständnis. Da > wiess man nämlich dann oft in der Regel nicht mehr wie das "von Hand" geht. Ich mache 90% mit der Hand (ich habe Putty auf meinem PDA), aber damit ich auf dem Dev-Server keinen Fehler mache, mache ich das lieber graphisch. Auf meinem eigenen Server ist es nicht so wild, wenn ich mal was abschieße. From ekkehart at gmx.de Thu Feb 17 18:55:11 2011 From: ekkehart at gmx.de (Nop) Date: Thu, 17 Feb 2011 18:55:11 +0100 Subject: [OSM-Devserver] Wiederverwendung von Kartenausschnitten? Message-ID: <4D5D60FF.9000708@gmx.de> Hallo! Durch die Überlastung bzw. den Wegfall von API und XAPI als Datenquelle ist bei einigen Leuten, die nur kleinere Datenmengen brauchen (sprich auch ein bayern.osm ist noch viel zu groß), ein Versorgungsproblem entstanden. Mir kam die Idee, ob nicht vielleicht als Abfallprodukt der Kartengenerierung auf dem Devserver kleinere Abschnitte von OSM Daten anfallen, die man Zippen und zum Download anbieten könnte. Z.B. die gesplitteten Daten für die Garminkarten. Wäre sowas sinnvoll? bye Nop From computerteddy at gmx.de Thu Feb 17 20:02:04 2011 From: computerteddy at gmx.de (Carsten Schwede) Date: Thu, 17 Feb 2011 20:02:04 +0100 Subject: [OSM-Devserver] Wiederverwendung von Kartenausschnitten? In-Reply-To: <4D5D60FF.9000708@gmx.de> References: <4D5D60FF.9000708@gmx.de> Message-ID: <4D5D70AC.6050103@gmx.de> Hallo, Am 17.02.2011 18:55, schrieb Nop: > > Mir kam die Idee, ob nicht vielleicht als Abfallprodukt der > Kartengenerierung auf dem Devserver kleinere Abschnitte von OSM Daten > anfallen, die man Zippen und zum Download anbieten könnte. Z.B. die > gesplitteten Daten für die Garminkarten. Wenn ich dann mal auf den Server umgezogen bin, könnten meine Kacheln des alten Schneideprozesses genutzt werden. (Das können sie auch jetzt schon, sie liegen gelegentlich auch mal zum Download vor, im Moment nicht, aus Platzgründen) Die Kacheln sind im 1°x1°- Raster Weltweit. > Wäre sowas sinnvoll? Alle Datenmehrmalsverwendungen sind meines Erachtens sinnvoll. -- Viele Grüße Carsten From computerteddy at gmx.de Thu Feb 17 20:25:13 2011 From: computerteddy at gmx.de (Carsten Schwede) Date: Thu, 17 Feb 2011 20:25:13 +0100 Subject: [OSM-Devserver] Wiederverwendung von Kartenausschnitten? In-Reply-To: <4D5D70AC.6050103@gmx.de> References: <4D5D60FF.9000708@gmx.de> <4D5D70AC.6050103@gmx.de> Message-ID: <4D5D7619.2010806@gmx.de> Hallo nochmal, Am 17.02.2011 20:02, schrieb Carsten Schwede: > schon, sie liegen gelegentlich auch mal zum Download vor, im Moment > nicht, aus Platzgründen) Die Kacheln sind im 1°x1°- Raster Weltweit. Die Dateien sind wieder da, ich hatte nur einen Fehler drin, sie lagen im falschen Verzeichnis. Also hier sind sie zu finden: http://openstreetmap.teddynetz.de:81/latest/osm/ -- Viele Grüße Carsten From ekkehart at gmx.de Thu Feb 17 22:07:53 2011 From: ekkehart at gmx.de (Nop) Date: Thu, 17 Feb 2011 22:07:53 +0100 Subject: [OSM-Devserver] Wiederverwendung von Kartenausschnitten? In-Reply-To: <4D5D7619.2010806@gmx.de> References: <4D5D60FF.9000708@gmx.de> <4D5D70AC.6050103@gmx.de> <4D5D7619.2010806@gmx.de> Message-ID: <4D5D8E29.4020901@gmx.de> Hallo! Am 17.02.2011 20:25, schrieb Carsten Schwede: > Die Dateien sind wieder da, ich hatte nur einen Fehler drin, sie lagen > im falschen Verzeichnis. Also hier sind sie zu finden: > > http://openstreetmap.teddynetz.de:81/latest/osm/ Super, ich dachte mir doch da was abfällt. Könntest Du noch erklären, wie die Verzeichnis- und Dateinamen zustandekommen, dann würde ich mal was auf der ML und im Forum posten. Oder magst Du das selber machen? bye Nop From computerteddy at gmx.de Fri Feb 18 23:36:17 2011 From: computerteddy at gmx.de (Carsten Schwede) Date: Fri, 18 Feb 2011 23:36:17 +0100 Subject: [OSM-Devserver] Wiederverwendung von Kartenausschnitten? In-Reply-To: <4D5D8E29.4020901@gmx.de> References: <4D5D60FF.9000708@gmx.de> <4D5D70AC.6050103@gmx.de> <4D5D7619.2010806@gmx.de> <4D5D8E29.4020901@gmx.de> Message-ID: <4D5EF461.9020604@gmx.de> Hi Nop, Am 17.02.2011 22:07, schrieb Nop: > > Könntest Du noch erklären, wie die Verzeichnis- und Dateinamen > zustandekommen, dann würde ich mal was auf der ML und im Forum posten. Die Dateinamen ergeben sich aus meiner Formel für die Kachelung der Welt: http://wiki.openstreetmap.org/wiki/User:Computerteddy#.C3.84ltere_Software Die Ordnernamen sind die ersten 5 Zahlen der Kachelnummer, das heißt das maximal 1000 Kacheln in einem solchen Verzeichnis liegen können. > Oder magst Du das selber machen? Das kannst Du gern machen, es geht ja auch darum, was Du mit den Ausschnitten anfangen möchtest. Ein Nachteil habe ich noch vergessen zu erwähnen: Die Kacheln enthalten keine Relationen und sind "komprimiert" in dem Sinne, daß ein paar Sachen weggelassen werden (Datum der Erstellung und Username, wenn ich mich nicht ganz irre) Um dieses zu beheben muß entweder der alte Kachelprozeß neu geschrieben werden, oder mittels splitter.jar die Welt in gleichmäßige Stücke geschnitten werden. ich denke, daß ich dann mal letzteres in Angriff nehmen werde. -- Viele Grüße Carsten From AlexanderMatheisen at ish.de Sat Feb 19 19:49:27 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Sat, 19 Feb 2011 19:49:27 +0100 Subject: [OSM-Devserver] Osmosis Replication funktioniert nicht? Message-ID: <1298141367.6206.8.camel@alexander-notebook> Hallo, ich habe ein Planetfile, das ich so gefiltert habe: osmosis-0.38/bin/osmosis --read-pbf planet.pbf --nk keyList="$tags" --tf reject-ways --tf reject-relations --write-pbf nodes.pbf compress=none osmosis-0.38/bin/osmosis --read-pbf unfiltered.pbf --wk keyList="$tags" --un --tf reject-relations --write-pbf ways.pbf compress=none osmosis-0.38/bin/osmosis --read-pbf nodes.pbf --read-pbf ways.pbf --m --s --write-pbf olm-latest.pbf compress=none dann habe ich das Planetfile wie folgt geupdatet osmosis-0.38/bin/osmosis --rri working --read-pbf latest.pbf --ac --write-pbf unfiltered.pbf compress=none und dieses aktualisierte File wieder wie vorher gefiltert. Doch beide Files sind exakt gleich groß und folglich ist auch das Difffile leer: osmosis-0.38/bin/osmosis --read-pbf olm-older.pbf --read-pbf olm-latest.pbf --dc --wxc changes.osc Die Aktualisierung hat scheinbar nicht funktioniert, doch warum? Die Dateien liegen unter /osm/openlinkmap/import Die state.txt habe ich vorher mit http://toolserver.org/~mazder/replicate-sequences/ generiert. Das Planetfile war vom 02.02.11., ich habe vorsichtshalber 01.02.11 angegeben, das soll ja nicht schaden, wenn sich das überschneidet. Nach dem Update hat die Datei den Inhalt wie nun. Der Updatevorgang hat keinerlei Fehlermeldung erzeugt und auch eine ganze Zeit gedauert (etwa 2 Stunden, genau hab ich das aber nicht gemessen). Alex From tobias.wendorff at uni-dortmund.de Sun Feb 20 14:12:38 2011 From: tobias.wendorff at uni-dortmund.de (Tobias Wendorff) Date: Sun, 20 Feb 2011 14:12:38 +0100 Subject: [OSM-Devserver] Osmosis Replication funktioniert nicht? In-Reply-To: <1298141367.6206.8.camel@alexander-notebook> References: <1298141367.6206.8.camel@alexander-notebook> Message-ID: <91b563efa38c8e449cd1ab3bd0d0526d.squirrel@webmail.tu-dortmund.de> Am Sa, 19.02.2011, 19:49 schrieb Alexander Matheisen: > > Der Updatevorgang hat keinerlei Fehlermeldung erzeugt und auch eine > ganze Zeit gedauert (etwa 2 Stunden, genau hab ich das aber nicht > gemessen). Probier' es doch erst mal mit Berlin oder so, vielleicht liegt gerade ein Fehler im Planeten vor. Mit Berlin läuft das auch schneller durch ;-) From AlexanderMatheisen at ish.de Sun Feb 20 14:41:49 2011 From: AlexanderMatheisen at ish.de (Alexander Matheisen) Date: Sun, 20 Feb 2011 14:41:49 +0100 Subject: [OSM-Devserver] Osmosis Replication funktioniert nicht? In-Reply-To: <91b563efa38c8e449cd1ab3bd0d0526d.squirrel@webmail.tu-dortmund.de> References: <1298141367.6206.8.camel@alexander-notebook> <91b563efa38c8e449cd1ab3bd0d0526d.squirrel@webmail.tu-dortmund.de> Message-ID: <1298209309.1734.13.camel@alex> > Probier' es doch erst mal mit Berlin oder so, vielleicht liegt gerade ein > Fehler im Planeten vor. > > Mit Berlin läuft das auch schneller durch ;-) Ich hab den Fehler gefunden: In der configuration.txt hatte ich hour-replicate angegeben, es geht aber nur mit minute-replicate! Jetzt ist aber wieder ein neues Problem: Ich hab es nun mit Mazedonien versucht, geht schneller. Thread for task 1-rri failed org.openstreetmap.osmosis.core.OsmosisRuntimeException: Pipeline entities are not sorted or contain multiple versions of a single entity, previous entity type=Node, id=42514310, version=3 current entity type=Node, id=42514310, version=4. Er will also ein älteres Changeset auf ein mittlerweile neueres Objekt anwenden. Ich dachte, das wäre egal, wenn sich die Zeitintervalle von Datenstand und einzuspielenden Changesets überschneiden, bzw. sogar notwendig? Eigentlich sollte er das doch erkennen. Alex From osm-lists at mazdermind.de Mon Feb 21 11:18:35 2011 From: osm-lists at mazdermind.de (=?ISO-8859-1?Q?Peter_K=F6rner?=) Date: Mon, 21 Feb 2011 11:18:35 +0100 Subject: [OSM-Devserver] Osmosis Replication funktioniert nicht? In-Reply-To: <1298209309.1734.13.camel@alex> References: <1298141367.6206.8.camel@alexander-notebook> <91b563efa38c8e449cd1ab3bd0d0526d.squirrel@webmail.tu-dortmund.de> <1298209309.1734.13.camel@alex> Message-ID: <4D623BFB.1010700@mazdermind.de> Am 20.02.2011 14:41, schrieb Alexander Matheisen: > Thread for task 1-rri failed > org.openstreetmap.osmosis.core.OsmosisRuntimeException: Pipeline > entities are not sorted or contain multiple versions of a single entity, > previous entity type=Node, id=42514310, version=3 current entity > type=Node, id=42514310, version=4. Die minutely-diffs sind komplett, können also auch mehrere Versionen eines Objektes enthalten, wenn ein Objekt mehrmals in einer Minute geändert wurde. Osmosis bietet dafür den --simc Task an, der diese mehrfachen Änderungen in eine zusammenfasst. Lg, Peter From computerteddy at gmx.de Tue Feb 22 14:27:50 2011 From: computerteddy at gmx.de (Carsten Schwede) Date: Tue, 22 Feb 2011 14:27:50 +0100 Subject: [OSM-Devserver] Worldfile Message-ID: <4D63B9D6.1030404@gmx.de> Hallo, ich habe alles vorbereitet, so daß ich diese Woche mal einen Lauf der Erstellung meiner vielen Karten loslassen könnte. Ich mache das normalerweise so (auf dem Server, wo das momentan läuft), daß ich am Mittwoch per cron ein Script starte, was regelmäßig nachsieht, ob der Planetdump schon auf planet.openstreetmap.org bereitsteht. Das passiert momentan dann üblicherweise Donnerstag Vormittag. Dann wird der Dump heruntergeladen und losgearbeitet. Die restlichen Ausschnitte, die ich noch verwende, sind der Europaausschnitt, der Deutschlandausschnitt, die Kanaren und der Spanienausschnitt, diese werden dann heruntergeladen, wenn sie im Gesamtprozeß dran sind. Ich habe hier noch keine Optimierung der Ausschnitte, so daß ich z.B. alle Daten aus einem Download hole oder so. Das spart allerdings auch etwas Zeit. Zum Schluß kopiere ich alle Karten und die Kacheln auf meinen Webserver und lösche auf dem Devserver noch nicht mehr benötigte Dateien. Um den Schneideprozeß durchzuführen benötige ich allerdings noch ein erweitertes Limit für die Anzahl der gleichzeitig offenen Dateien: computerteddy at gauss:/osm/garmin/worldfile$ ulimit -n 1024 Hier benötige ich 64000 @Sven: kannst Du mir das Limit bitte erhöhen. Kann ich den ersten Test mal so durchführen, oder gibt es noch Vorschläge wie ich was gleich jetzt verbessern könnte? Gesamtlast, die ich vorraussichtlich erzeuge: - ca. 300GB max. Plattenbelegung während des Prozesses auf /osm/garmin/worldfile - 15GB Plattenverbrauch unter /home/computerteddy - max. 8GB Speicherverbrauch (steht als Begrenzung bei den Java-Aufrufen) In meinem Logfile stehtn dann immer Datum und uhrzeit, wenn ein Prozeß durch ist, und natürlich Anfang und Endezeit. Ist allerdings recht groß das Logfile, weil ich alles an Ausgabe da rein schreibe, damit ich Fehlersuche betreiben kann. Ich bin Do/Fr zu Hause und kann das Ganze überwachen, damit nichts an die Wand fährt. -- Viele Grüße Carsten From lists at fuchsschwanzdomain.de Tue Feb 22 15:09:17 2011 From: lists at fuchsschwanzdomain.de (Sven Geggus) Date: Tue, 22 Feb 2011 14:09:17 +0000 (UTC) Subject: [OSM-Devserver] Worldfile References: <4D63B9D6.1030404@gmx.de> Message-ID: Carsten Schwede wrote: > Um den Schneideprozeß durchzuführen benötige ich allerdings noch ein > erweitertes Limit für die Anzahl der gleichzeitig offenen Dateien: > > computerteddy at gauss:/osm/garmin/worldfile$ ulimit -n > 1024 > > Hier benötige ich 64000 IMO sollte man das nicht erhöhen ohne das auch beim System selbst zu erhöhen. Hast Du grade mal dee passenden sysctl? > In meinem Logfile stehtn dann immer Datum und uhrzeit, wenn ein Prozeß > durch ist, und natürlich Anfang und Endezeit. Ist allerdings recht groß > das Logfile, weil ich alles an Ausgabe da rein schreibe, damit ich > Fehlersuche betreiben kann. Mit den anderen den Zeitpunkt klären, damit das nicht kollidiert. Wäre nicht das erste mal, dass gar nichts mehr geht weil alles gleichzeitig gestartet wurde. Was die Geofabrik Ausschnitte betrifft solltest Du die verwenden, die Fred täglich auf gauss reinlädt. Bevorzugt PBF statt OSM. Gruss Sven -- Software patents are the software project equivalent of land mines: Each design decision carries a risk of stepping on a patent, which can destroy your project. (Richard M. Stallman) /me is giggls at ircnet, http://sven.gegg.us/ on the Web From computerteddy at gmx.de Tue Feb 22 15:22:55 2011 From: computerteddy at gmx.de (Carsten Schwede) Date: Tue, 22 Feb 2011 15:22:55 +0100 Subject: [OSM-Devserver] Worldfile In-Reply-To: References: <4D63B9D6.1030404@gmx.de> Message-ID: <4D63C6BF.4050002@gmx.de> Hallo, Am 22.02.2011 15:09, schrieb Sven Geggus: > IMO sollte man das nicht erhöhen ohne das auch beim System selbst zu > erhöhen. Hast Du grade mal dee passenden sysctl? Das geht sowieso nur im System anzuheben. Man kann das so machen, daß ein User selbst sein Limit bei Bedarf anheben kann, oder fest auf einen Wert stellen. Bei meinem bisherigen Server war es fest eingestellt. (Das stört ja eigentlich auch nicht) Die Werte müssen hier eingestellt werden: /etc/security/limits.conf * hard nofile 64000 * soft nofile 64000 Wie gesagt kann der soft- Eintrag auch geringer sein, dann sollte jeder User selbst das Limit hochstellen können. > Mit den anderen den Zeitpunkt klären, damit das nicht kollidiert. Wäre nicht > das erste mal, dass gar nichts mehr geht weil alles gleichzeitig gestartet Naja, eigentlich wirds dann bloß langsam... Am Freitag soll ja der "Garmintag" sein. Vielleicht sollte ich dann beginnen? (0:00 Uhr?) > wurde. Was die Geofabrik Ausschnitte betrifft solltest Du die verwenden, die > Fred täglich auf gauss reinlädt. Bevorzugt PBF statt OSM. Wo liegen die denn? PBF kann ich momentan aber noch nicht nutzen, da muß noch einiges verändert werden. Beim Planet geht es gar nicht, wegen meinem alten Kachelprozeß, der kann nur osm lesen. -- Viele Grüße Carsten From lists at fuchsschwanzdomain.de Tue Feb 22 15:42:36 2011 From: lists at fuchsschwanzdomain.de (Sven Geggus) Date: Tue, 22 Feb 2011 14:42:36 +0000 (UTC) Subject: [OSM-Devserver] Worldfile References: <4D63B9D6.1030404@gmx.de> <4D63C6BF.4050002@gmx.de> Message-ID: Carsten Schwede wrote: > Die Werte müssen hier eingestellt werden: > > /etc/security/limits.conf Ich hab jetzt eher an /proc/sys/fs/file-max gedacht, aber da ist das anscheinend auch schon recht hoch. > Naja, eigentlich wirds dann bloß langsam... Tagwatch und AIO gleichzeitig war ind er Vergangenheit imemr das Grab. da wurde dann gar nichts m ehr in endlicher Zeit fertig. > Am Freitag soll ja der "Garmintag" sein. Vielleicht sollte ich dann > beginnen? (0:00 Uhr?) Schau in die Tabelle im Wiki und stimm Dich mit den anderen ab. > Wo liegen die denn? /osm/geofabrik-extrakte/ Sven -- "linux is evolution, not intelligent design" (Linus Torvalds) /me is giggls at ircnet, http://sven.gegg.us/ on the Web From computerteddy at gmx.de Wed Feb 23 12:56:01 2011 From: computerteddy at gmx.de (Carsten Schwede) Date: Wed, 23 Feb 2011 12:56:01 +0100 Subject: [OSM-Devserver] Worldfile In-Reply-To: References: <4D63B9D6.1030404@gmx.de> <4D63C6BF.4050002@gmx.de> Message-ID: <4D64F5D1.5000601@gmx.de> Hallo, Am 22.02.2011 15:42, schrieb Sven Geggus: > Schau in die Tabelle im Wiki und stimm Dich mit den anderen ab. Nach der Tabelle im Wiki läuft die AIO am Freitag alleine, und am Donnerstag NaviPOWM und der Tagwatch ca. 1-11 Stunden lang. Da der Planetauszug am Donnerstag Mittag in der Regel schon da ist, könnte ich eventuell auch schon eher anfangen als Freitag 0:00 Uhr. Wann wäre denn der Tagwatch fertig, und NaviPOWM? In der Tabelle fehlen ja auch alle Startzeiten, gibt es eine Stelle, wo diese niedergeschrieben sind? @Christoph: Können wir gleichzeitig am Freitag rechnen? Woran kann ich sehen, wenn es bei Dir zu sehr klemmt? > /osm/geofabrik-extrakte/ Ich habe meine Scripte nun alle so umgestellt, daß nur die auf dem Devel-Server liegenden Quelldateien verwendet werden. -- Viele Grüße Carsten