[OSM in MV] Prüfen von URLs der OSM Objekte in MV mit dem Tool OSM-Link-Validator (OLV)

[Sven Fischer]

Moin *,

liest hier noch jemand mit? Es ist ganz schön ruhig hier.

Heute möchte ich euch mein Tool vorstellen, das ich seit ein paar 
Monaten betreibe. Das heißt OSM-Link-Validator oder kurz OLV.

OLV funktioniert so, dass für das Gebiet von MV (Relation 28322) eine 
Overpass-Abfrage gestellt wird, die nach OSM-Objekten mit den Keys 
contact:website, url, website, usw. usf. sucht[0].
Die URLs dieser OSM-Objekte werden einzeln geprüft und das Ergebnis der 
Analyse ist eine lange, aber sortier- und filterbare Tabelle unter [1]. 
Achtung: ca. 8 MB Daten, es könnte ordentlich Last im Browser geben.

Jede Zeile der Tabelle zeigt ein potentielles Problem mit der getaggten 
URL an. Aber nicht jede Zeile dieser Tabelle sollte eine Änderung in OSM 
werden. Manchmal werden Seiten auch sinnvoll umgeleitet. Das Gros der 
Zeilen sind eben auch URLs, die einen HTTP-Status im 300er-Bereich 
zurückliefern. Allgemein sollte man jede Zeile einzeln bewerten, ob eine 
Änderung in OSM sinnvoll ist.

Es gibt Bearbeitungs-Links für iD und JOSM. Nicht wundern: Diese Links 
fügen automatisch einen Changeset-Kommentar und Changeset-Hashtag hinzu. 
Den Hashtag könnte man nutzen, um herauszufinden, wie viele Änderungen 
aufgrund dieses Tools gemacht worden sind. Ansonsten kann der 
Kommentar/Hashtag selbstverständlich der gemachten Änderung angepasst 
oder ganz entfernt werden.

Für die Visualisierung gibt es auch eine Leaflet-basierte Kartenansicht 
unter [2]. Achtung, auch diese Website ist auch groß (~ 10 MB). Der 
Landkreis VR war mein bisheriges Testgebiet und ist daher schon etwas 
ausgedünnt bzgl. fehlerhafter URLs.

Die Auswertung läuft einmal täglich und dauert für die Analyse der fast 
17.000 URLs fast 4 h. Um die 7000 getaggte URLs in MV haben derzeit 
evtl. ein Problem.

Die Auswertung für MV läuft erst seit zwei Tagen. Nach ein paar Tagen 
mehr kommen Statistikfreunde auch auf ihre Kosten durch die 
Diagrammansicht in [3].

Für München läuft so eine Analyse schon etwas länger, siehe [4] und dort 
im Dropdown-Menü die Anzahl der Tage auf "All" setzen. Die Erfahrung mit 
der Nutzung des Tools zeigt, dass man damit ganz gut Geschäfte, die 
nicht mehr existieren, findet.

Der Quellcode des Tools ist auch einsehbar [5] und man könnte das Tool 
auch lokal bei sich zB. für ein kleineres Gebiet laufen lassen. Wie das 
geht, ist auch auf der Seite beschrieben.

Im Moment gibt es schon eine Möglichkeit falsche Treffer (false 
positives), z.B. Websites mit DigiCert Zertifikat oder Websites hinter 
einem CDN, als solche zu markieren und damit in der Auswertung 
auszublenden. Das erfolgt aber bisher manuell durch mich durch die 
Pflege von Dateien wie z.B. der Ignorierliste in [6].

Falls ihr das Tool nutzen mögt, um die Situation mit Websites in MV zu 
verbessern, viel Spaß. Feedback gerne hier per Mail, per PN an Strubbl 
auf OSM.org oder auf Codeberg [5].


Viele Grüße
Sven


[0] https://codeberg.org/strubbl/osm-link-validator#used-openstreetmap-keys
[1] https://osm.strubbl.de/olv/table-3600028322.html
[2] https://osm.strubbl.de/olv/map-3600028322.html#9/53.8549/13.1177
[3] https://osm.strubbl.de/olv/chart-3600028322.html
[4] https://osm.strubbl.de/olv/chart-3600062428.html
[5] https://codeberg.org/strubbl/osm-link-validator
[6] 
https://codeberg.org/strubbl/osm-link-validator/src/branch/main/ignorelist.json