[OSM-Devserver] osm2pgsql-Import

[Frederik Ramm]

Hi,

Tobias Wendorff wrote:
> Am Mo, 1.08.2011, 23:44 schrieb Frederik Ramm:
>> Grundsaetzlich war vor einem Jahr ein Komplettimport mit 08/15 osm2pgsql
>> auf einer normalen SATA-Platte in 4.5 Stunden moeglich, wenn man 48 GB
>> RAM hatte:
> 
> Wieso soviel?
> 
>> Inzwischen ist das Planetfile um 80% groesser geworden, ich wuerde also
>> bei einem ganz gewoehnlichen Rechner mit 48 GB RAM heute eine
>> Import-Zeit von rund 6-7 Stunden erwarten, ohne jeden Schnickschnack.
> 
> jburgess sagte zu mir (höchste Node-ID / 1024 / 1024) * 8 ergibt derzeit
> ca. 10750 MB für den Node-Cache.

Das ist korrekt. Den Node-Cache braucht man aber nur bei --slim. Wenn 
man ohne --slim arbeitet, landet alles komplett im RAM und braucht daher 
deutlich mehr. Damals reichten 24 GB gerade so fuer den vollen Import im 
osm2pgsql, die restlichen 24 GB haben dann in der Postgres bzw. im 
Filesystem-Cache ihr uebriges geleistet.

>> Wenn Tobias oben von einem --slim-Import eines kompletten Planet in 7
>> Stunden spricht, dann interessiert mich brennend, mit welchem
>> Disk-Subsystem und welcher Postgres-Konfig er das geschafft hat, denn
>> das waere wirklich sensationell.
> 
> Ich prüfe morgen mal, ob die Daten komplett sind. Da osm2pgsql in
> temporäre Tabellen schreibt, zeigt das Logfile leider nix an.

Ein Standard-Komplettimport mit --slim fuehrt aktuell etwa zu folgenden 
Tabellengroessen (das ist aber ohne hstore, also YMMV):

% select relname,pg_size_pretty(pg_table_size(relname::varchar)) from 
pg_class where relname like 'planet%';

          relname          | pg_size_pretty
--------------------------+----------------
  planet_osm_ways          | 32 GB
  planet_osm_nodes         | 50 GB
  planet_osm_nodes_pkey    | 24 GB
  planet_osm_ways_pkey     | 4626 MB
  planet_osm_ways_idx      | 1228 MB
  planet_osm_rels_pkey     | 31 MB
  planet_osm_rels_idx      | 2744 kB
  planet_osm_roads_index   | 305 MB
  planet_osm_roads_pkey    | 113 MB
  planet_osm_rels_parts    | 523 MB
  planet_osm_ways_nodes    | 54 GB
  planet_osm_roads         | 4486 MB
  planet_osm_rels          | 693 MB
  planet_osm_point_index   | 1306 MB
  planet_osm_point_pkey    | 481 MB
  planet_osm_point         | 1777 MB
  planet_osm_line_index    | 3162 MB
  planet_osm_line_pkey     | 1146 MB
  planet_osm_line          | 21 GB
  planet_osm_polygon_index | 3112 MB
  planet_osm_polygon_pkey  | 1096 MB
  planet_osm_polygon       | 18 GB
(22 rows)

Bye
Frederik

-- 
Frederik Ramm  ##  eMail frederik at remote.org  ##  N49°00'09" E008°23'33"