Ik twijfel nog over hoe ik het juiste script kan triggeren via de command line. Is dat gewoon
./etl.sh -a bag_input_file=~/project/nlextract/data/BAG-2.0/BAGNLDL-08112020.zip nadat ik de juiste configuratie heb opgezet?
./etl.sh 2>&1 | tee /tmp/etl.log voldoende om uit te voeren.
- Elke keer als ik ./etl.sh of een variant daarvan met opties uitvoer krijg ik deze error "ImportError: No module named deprecated.sphinx". In
externals/stetl/stetl/main.pywordt die geimporteerd. Heb er niks op google over kunnen vinden. Lijkt een dependency oid die niet geinstalleerd is. - Ik heb een localhost.args opgezet maar kan niet vinden hoe ik het etl command aanpas zodat ie die ook gebruikt. In de nlextract docs staat wel hoe je options aanmaakt maar niet hoe je ze inlaadt.
(Ik probeer voor nu om de BAG input testfile in PostGis te laden als test)
De deprecated Python module (https://ports.macports.org/port/py-deprecated/) is een dependency van Stetl.
localhost is vrijwel zeker niet de hostname van de machine. De options file voor de host wordt door stetl.sh geladen als deze bestaat:
host_options_file="options/$(hostname).args"
[[ -f "${host_options_file}" ]] && options_file="${host_options_file}"https://github.com/nlextract/NLExtract/blob/master/bagv2/etl/stetl.sh#L38-L39
Ah ok, hij stond niet bij de dependencies in de docs. Is er een standaard manier om alle dependencies van Stetl te installeren? Ik krijg na het installeren van deprecated nl de error dat de 'pkg_resources' module niet gevonden wordt. Die zou standaard beschikbaar moeten zijn door de installatie van pip (volgens de stetl instructies). Ik heb het idee dat main.py op de een of andere manier niet in de goede Python omgeving draait, maar geen idee hoe je dat kan oplossen. python -V geeft gewoon 3.9.4.
localhost is vrijwel zeker niet de hostname van de machine
Ik probeer het testbestand in een lokale PostGis db te laden. Waarom zou de hostname dan niet localhost zijn?
De Stetl dependencies zijn te vinden in:
externals/stetl/requirements-main.txtDie zou je met
pip install -r externals/stetl/requirements-main.txt kunnen installeren, maar gezien de GDAL dependency gaat dat mogelijk fout.Docker maakt het m.i. niet eenvoudiger, het introduceerd weer andere complexiteit.
Op een VM met Debian bullseye heb je NLExtract zo aan de praat na het installeren van de dependencies.
Ik heb al super veel pogingen gedaan om de database op mijn systeem werkend te krijgen, maar om een of andere reden krijg ik het niet voor elkaar. Ik heb het met docker geprobeerd maar ook zonder, en op beide manieren krijg ik verschillende foutmeldingen. De methode zonder docker lijkt al iets dichterbij de oplossing dus vandaar dat ik me daar nu op focus. De boosdoener wanneer ik ./etl.sh daar lijkt het volgende te zijn:
2022-02-04 16:09:26,759 ogroutput INFO writing to file temp/bagger.xml
2022-02-04 16:09:27,783 ogroutput INFO written to temp/bagger.xml
2022-02-04 16:09:27,783 ogroutput INFO executing cmd=ogr2ogr -append -lco LAUNDER=YES -lco PRECISION=NO -lco FID=gid -lco SPATIAL_INDEX=NONE -f PostgreSQL "PG:dbname=bagv2 host=localhost port=5432 user=postgres password=postgres active_schema=test" -oo GFS_TEMPLATE=gfs/imbag-2.1.0.gfs -oo WRITE_GFS=NO -a_srs EPSG:28992 temp/bagger.xml
Warning 6: driver GML does not support open option WRITE_GFS
ERROR 1: PROJ: proj_create_from_database: SQLite error on SELECT name, coordinate_system_auth_name, coordinate_system_code, geodetic_crs_auth_name, geodetic_crs_code, conversion_auth_name, conversion_code, area_of_use_auth_name, area_of_use_code, text_definition, deprecated FROM projected_crs WHERE auth_name = ? AND code = ?: no such column: area_of_use_auth_name
ERROR 1: PROJ: proj_create_from_database: SQLite error on SELECT name, coordinate_system_auth_name, coordinate_system_code, geodetic_crs_auth_name, geodetic_crs_code, conversion_auth_name, conversion_code, area_of_use_auth_name, area_of_use_code, text_definition, deprecated FROM projected_crs WHERE auth_name = ? AND code = ?: no such column: area_of_use_auth_name
ERROR 1: PROJ: proj_create_from_database: SQLite error on SELECT name, coordinate_system_auth_name, coordinate_system_code, geodetic_crs_auth_name, geodetic_crs_code, conversion_auth_name, conversion_code, area_of_use_auth_name, area_of_use_code, text_definition, deprecated FROM projected_crs WHERE auth_name = ? AND code = ?: no such column: area_of_use_auth_name
ERROR 1: Failed to process SRS definition: EPSG:28992
2022-02-04 16:09:28,537 ogroutput INFO execute doneHij lijkt een bepaalde kolom are_of_use_auth_name niet te kunnen vinden. In mijn bagv2 database zie ik alleen hetvolgende:
bagv2-# \dt+
List of relations
Schema | Name | Type | Owner | Size | Description
----------+-----------------+-------+----------+------------+-------------
public | spatial_ref_sys | table | postgres | 6968 kB |
topology | layer | table | postgres | 8192 bytes |
topology | topology | table | postgres | 8192 bytes |Ik gebruik Ubuntu 20.04, NLextract-1.5.3 en pSQL 12.9
The error komt van PROJ en heeft betrekking op de proj.db SQLite database: https://lists.osgeo.org/pipermail/gdal-dev/2020-December/053177.html
De NLExtract docker image gebruikt osgeo/gdal als basis wat weer op Ubuntu focal is gebaseerd. In focal zit proj (6.3.1-1), maar de GDAL docker image build een nieuwere PROJ. De NLExtract docker image gebruikt PostgreSQL 11 via de PGDG thirdparty repository, via de PostGIS dependencies wordt de proj (6.3.1-1) package geinstalleerd.
Als je NLExtract gebruikt op Debian bullseye heb je geen thirdparty repositories nodig, noch een custom build van PROJ. Doordat de LVBAG driver changes in 3.3.0 en 3.4.0 zijn gebackport is geen custom build van GDAL 3.4.0 nodig.
sudo docker run --name nlextract --workdir="/nlx/bagv2/etl" --rm -v $(pwd)/work:/work nlextract/nlextract:latest ./etl.sh -a bag_input_file=/work/bag_nieuw.zip run krijg ik het volgende:022-02-07 22:34:31,691 postgis INFO Connecting to dbname=bagv2 user=postgres host=host.docker.internal port=5432
2022-02-07 22:34:31,701 postgis ERROR Cannot connect to database 'bagv2' e=could not translate host name "host.docker.internal" to address: Name or service not known
2022-02-07 22:34:31,701 postgis ERROR error 'PostGIS' object has no attribute 'cursor' in query: -- Tabellen voor BAG-Extract v2
-- Min of meer 1-1 met BAG model dus niet geoptimaliseerd
-- Te gebruiken als basis tabellen om specifieke tabellen
-- of VIEWs af te leiden.
--
-- Op alfabet. Zie finalize-tables-sql hoe de uiteindelijke
-- tabellen eruit zien.
--
--add-host=host.docker.internal:host-gateway zie hier.
1 reply
Hoi, misschien hoort het hier niet helemaal thuis maar na wat hulp van hier en wat troubleshooten is het gelukt om NLX te installeren op Ubuntu zonder Docker. Ik heb een stappenplan bijgehouden en dacht misschien is er iemand anders ook mee geholpen. Mocht je iets zien dat niet klopt of het hoort hier niet thuis, laat het dan vooral weten. De PostGIS installatie heb ik niet bijgehouden, hier is genoeg over te vinden. Daarnaast was ik een keer vastgelopen omdat ik de bash files uitvoerde als sudo. Toen ik dat deed kon Pyhton de modules niet vinden die ik via pip had geïnstalleerd (doh!):
1. NLExtract installatie Ubuntu voor BAGv2
Vanaf een kale Ubuntu Server 20.04.3 LTS installatie begonnen. Het installeren van de PostGIS database zit hier niet bij.
1.1. UbuntuGis repository toevoegen
- sudo add-apt-repository ppa:ubuntugis/ubuntugis-unstable
- sudo apt-get update
1.2. Python dependencies
- sudo apt install pip
- sudo apt install python3-dev python3-lxml
[comment]:symlink voor python folder
- sudo ln -s /usr/bin/python3.8 /usr/bin/python
1.3. PostgreSQL library
- sudo apt install libpq-dev
1.3.1. andere dependencies via pip
- pip install psycopg2
- pip install xlrd
- pip install openpyxl
- pip install deprecated
1.4. GDAL installatie
- sudo apt install gdal-bin
- sudo apt install libgdal-dev
[comment]:GDAL toevoegen aan de environment variables
- export CPLUS_INCLUDE_PATH=/usr/include/gdal
- export C_INCLUDE_PATH=/usr/include/gdal
1.5. PSQL client installatie (alleen noodzakelijk indien de database op een andere host draait)
- sudo apt install postgresql-client-12
1.5.1. bagv2 database aanmaken
[comment]:open psql sessie naar database server
psql -h host -d postgres -U postgres
CREATE DATABASE bagv2;
- \connect bagv2;
- CREATE SCHEMA test;
- create extension postgis;
[comment]:sessie afsluiten
- \q
1.6. clone laatste NLX versie naar /opt/
- cd /opt/
- git clone --recurse-submodules -j8 https://github.com/nlextract/NLExtract.git
1.6.1. psql connectionstring
[comment]: verander psql details in default.args
- vi /opt/NLExtact/bagv2/etl/options/default.args
1.7. download laatste bagv2 naar /tmp/
- curl https://service.pdok.nl/kadaster/adressen/atom/v1_0/downloads/lvbag-extract-nl.zip --output /tmp/lvbag-extract-nl.zip
1.8. run ETL's
- cd /opt/NLExtact/bagv2/etl
- ./etl.sh -a bag_input_file=/tmp/lvbag-extract-nl.zip
1.8.1. na ongeveer 2 uur....
- ./adres.sh
1.8.2. adres2.csv
- cd /opt/NLExtact/bagv2/etl/sql/adres
- psql -h host -d bagv2 -U postgres
- set search_path to test,public;
- \i adres2csv.sql
de csv file is te vinden in /tmp/
diff --git a/bagv2/etl/stetl.sh b/bagv2/etl/stetl.sh
index 86989206..503a6c30 100755
--- a/bagv2/etl/stetl.sh
+++ b/bagv2/etl/stetl.sh
@@ -49,6 +49,6 @@ user_args="${@}"
log_info "Using options_file=${options_file} and user_args=${user_args}"
# Uiteindelijke commando.
-${STETL_HOME}/bin/stetl -a ${common_options_file} -a ${options_file} ${user_args}
+python3 ${STETL_HOME}/bin/stetl -a ${common_options_file} -a ${options_file} ${user_args}
popdsudo ln -s /usr/bin/python3.8 /usr/bin/python en de toevoeging van python3 krijg ik :/opt/NLExtract/bagv2/etl/stetl.sh: line 49: 134958 Killed python3 ${STETL_HOME}/bin/stetl -a ${common_options_file} -a ${options_file} ${user_args}
/opt/NLExtract/bagv2/etl
Hey, als ik ./etl.sh draai lijkt alles te werken naar behoren. Maar het lijkt erop dat de database uiteindelijk nogsteeds leeg is op het einde. Het draaien van ./adres.sh geeft:
2022-02-19 21:45:15,568 postgis ERROR error relation "verblijfsobjectactueelbestaand" does not exist
LINE 54: FROM verblijfsobjectactueelbestaand vDit lijkt erg op #331, is dit hetzelfde of kan het ooks iets anders aan mijn kant zijn.
Redirect the output van etl.sh & adres.sh naar een logfile en check beide op errors:
./bagv2/etl/etl.sh 2>&1 | tee /tmp/etl.log && ./bagv2/etl/adres.sh 2>&1 | tee /tmp/adres.log
grep ERROR /tmp/etl.log /tmp/adres.logMogelijk is er te weinig vrije disk space om de kolommen aan te passen van de grote tabellen.
Aan disk space zou het niet moeten liggen, ik heb nog ruim 400gb beschikbaar. De log bestanden zeggen het volgende:
etl.log:2022-02-20 01:33:15,146 postgis ERROR error column "identificatie" of relation "nummeraanduiding" does not exist
etl.log:2022-02-20 01:33:15,158 postgis ERROR error column "identificatie" does not exist
etl.log:2022-02-20 01:33:15,173 postgis ERROR error column "begindatumtijdvakgeldigheid" does not exist
etl.log:2022-02-20 01:33:15,255 postgis ERROR error column "geovlak" does not exist
adres.log:2022-02-20 00:36:41,361 postgis ERROR error relation "verblijfsobjectactueelbestaand" does not existDe errors in etl.sh komen voor bij finalize-tables.sql, fill-reltables.sql, create-views.sql en create-indexes.sql respectievelijk.
fill-reltables.sql:2022-02-20 01:33:15,149 fileinput INFO Read/parse ok for file=sql/fill-reltables.sql
2022-02-20 01:33:15,149 dboutput INFO executing SQL
2022-02-20 01:33:15,149 postgis INFO Connecting to dbname=bagv2 user=postgres host=localhost port=5432
2022-02-20 01:33:15,156 postgis DEBUG Connected to database bagv2
2022-02-20 01:33:15,158 postgis ERROR error column "identificatie" does not exist
LINE 23: identificatie,
^
HINT: There is a column named "identificatie" in table "verblijfsobjectpand", but it cannot be referenced from this part of the query.
in query: -- Fills the (Legacy) relation tables and nevenadres.
-- This is to remain compatible with BAG v1.Bedankt! dat was inderdaad het probleem. Bedankt voor alle hulp, de adres tabel werkt super. Ik zou nog graag de adres-plus tabel willen activeren, alleen dit verloopt nog net niet helemaal soepel.
environment: ik gebruik nu ubuntu 22.04 met postgreSQL 13.
steps taken: ik heb etl.sh en adres.sh succesvol gedraait. \i adres2csv.sql op de database draaien werkt. Voor het plus tabel zet ik \i adres-tabel-plus.sql aan
expected output: een adres_plus tabel
actual output: ik krijg een paar meldingen dat er wat tabellen missen, deze staan hieronder. Wat vooral vervelend is dat er op een gegeven moment de melding komt in de trant van relation "adres_plus" does not exist, vervolgens restart mijn systeem. Mis ik wat stappen om de adres plus werkend te krijgen?
NOTICE: table "verblijfsobjectgebruiksdoelactueelbestaand_pivot" does not exist, skipping
NOTICE: table "vbo_woningtype" does not exist, skipping
NOTICE: table "vbo_woningtype_ontdubbeld" does not exist, skipping
NOTICE: table "vbo_actueelbestaand_met_aantal_verbonden_pnd" does not exist, skippingsidenote: om dit soort issues te voorkomen lijkt het mij verstandig om simpelweg de docker image te gebruiken. Echter als ik dit doe met de command sudo docker run --name nlextract --add-host=host.docker.internal:host-gateway --rm -v $(pwd)/work:/work -e "PGOPTIONS=--search_path=test" -e "PGPASSWORD=<my_password>" nlextract/nlextract:latest psql -f bagv2/etl/sql/adres/adres-tabel-plus.sql -h localhost -U <my_user> kan ik geen verbinding maken, terwijl sudo lsof -i tcp:5432 wel de postgres server aangeeft.
psql: could not connect to server: Connection refused
Is the server running on host "localhost" (127.0.0.1) and accepting
TCP/IP connections on port 5432?
could not connect to server: Cannot assign requested address
Is the server running on host "localhost" (::1) and accepting
TCP/IP connections on port 5432?localhost gebruiken maar host.docker.internal. Die naam is willekeurig, net even gezocht, zie bijv hier:https://www.cloudsavvyit.com/14114/how-to-connect-to-localhost-within-a-docker-container/
etl.cfg behorend bij bovenstaande patches klaarliggen? Zo niet, dan puzzel ik rustig verder! Het is me tot nu toe gelukt om de ZIP met de mutatie XML in te lezen via Stetl.
Hoi iedereen,
Er zijn mij wat dingen opgevallen wtb de inhoud van het bag en mijn interpretatie ervan. Zelf maak ik alleen gebruik van de adressen lijst. Ik denk dat de meeste (zo niet allemaal) vanuit het bag zelf komen. Ik vroeg mij af hoe andere die regelmatig met het bag werken hiermee omgaan.
1) er zijn duplicate adresseerbaarobject identifiers (~ 33000). Ik heb deze bekeken en in de gevallen die ik heb gezien is vaak alleen de nummeraanduiding of het pandid anders. Als ik kijk op bijvoorbeeld wozwaardeloket.nl (ik neem aan dat ze hier ook van het bag gebruik maken) staat er (in de gevallen die ik heb gezien) maar 1 adres vermeld.
2) Sommige adressen staan niet volledig in de huidige uitdraai van alle adressen. Een voorbeeld hiervan is Korte Geuzenstraat 700. Dit zijn een stel woningen met allemaal hetzelfde adreseerbaarobject en postcode+huisnummer. Op woz-waardeloket zie ik dat deze adressen wel een losse 'identificatie' hebben. Is dat misschien een andere identificatie dan het 'VBO'? Zo ja, kan ik die ergens uit het bag halen om de adressen te updaten?
Het zijn geen hele grote punten, maar ik zou ze wel graag op willen lossen, want waarschijnlijk gaan ze later complicaties op leveren in toepassingen. Bij 1 weet ik bijvoorbeeld niet welk pandid / nummeraanduiding ik het best kan behouden, en 2 zorgt ervoor dat het gewoon net niet helemaal compleet is. Iemand die ervaring heeft met deze punten? Ik maak gebruik van het gratis bag-extract.
"...de adressen lijst. " - welke tabel bedoel je?
ad 1) zijn dit geen Nevenadressen? 1 AO heeft 1 Hoofdadres en 0 of meer Nevenadressen (Nummeraanduidingen).
ad 2) "..de huidige uitdraai van alle adressen.." zelfde vraag. Begrip "woning" bestaat niet in BAG.
Korte Geuzenstraat 700: geen idee, is een groot pand met allemaal verschillende adressen in BAGViewer.
Hoi @justb4 ,
Bedankt voor je reactie! Met "de adressen lijst" bedoel ik de adres_full tabel, deze gebruik ik zelf met wat aanvullingen
ad 1) ah zo, dat wist ik niet. Dat maakt het al een stuk duidelijker. Toch komt het ook voor dat enkel het pandid verschilt, ik zal er nog eens naar kijken