Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Repo info
Activity
  • May 06 09:39
    hawkrevenge opened #350
  • Apr 21 09:20
    justb4 commented #348
  • Apr 20 08:37
    Robkromwijk commented #348
  • Apr 20 08:37
    Robkromwijk commented #348
  • Apr 20 08:36
    Robkromwijk commented #348
  • Apr 20 08:36
    Robkromwijk commented #348
  • Apr 20 08:35
    Robkromwijk commented #348
  • Apr 20 08:33
    Robkromwijk reopened #348
  • Apr 20 06:58
    Robkromwijk commented #348
  • Apr 19 14:25
    Robkromwijk commented #348
  • Apr 19 14:25
    Robkromwijk closed #348
  • Apr 19 14:25
    Robkromwijk commented #348
  • Apr 19 14:09
    petersaalbrink opened #349
  • Apr 13 14:56
    justb4 commented #348
  • Apr 13 14:54
    justb4 labeled #348
  • Apr 13 14:54
    justb4 commented #348
  • Apr 11 10:25
    Robkromwijk opened #348
  • Apr 06 07:42
    Robkromwijk commented #317
  • Apr 05 15:52
    sebastic commented #317
  • Apr 05 15:18
    Robkromwijk commented #317
Bas Couwenberg
@sebastic
De lxml en psycopg2 Python modules zijn ook voor BAGv2 vereist, maar het vereist ook GDAL >= 3.4.0 (wat beschikbaar is in MacPorts).
Laurens
@Razpudding
lxml en psycopg2 instalalties zijn gelukt. Nu even updaten naar GDAL 3.4. Thanks voor de tip over MacPorts, via kyngchaos kwam ik maar tot versie 3.2
Ik twijfel nog over hoe ik het juiste script kan triggeren via de command line. Is dat gewoon ./etl.sh -a bag_input_file=~/project/nlextract/data/BAG-2.0/BAGNLDL-08112020.zip nadat ik de juiste configuratie heb opgezet?
Bas Couwenberg
@sebastic
M.i. is het beter om een options file te gebruiken voor de host: bagv2/etc/options/$(hostname -s).args
Deze file kan je maken op basis van bagv2/etl/options/default.args met de specifieke configuratie voor de BAG input file en database setttings voor jouw setup.
Daarna is ./etl.sh 2>&1 | tee /tmp/etl.log voldoende om uit te voeren.
Laurens
@Razpudding
Bedankt voor de hulp. Ik loop nog vast op twee punten.
  1. Elke keer als ik ./etl.sh of een variant daarvan met opties uitvoer krijg ik deze error "ImportError: No module named deprecated.sphinx". In externals/stetl/stetl/main.py wordt die geimporteerd. Heb er niks op google over kunnen vinden. Lijkt een dependency oid die niet geinstalleerd is.
  2. Ik heb een localhost.args opgezet maar kan niet vinden hoe ik het etl command aanpas zodat ie die ook gebruikt. In de nlextract docs staat wel hoe je options aanmaakt maar niet hoe je ze inlaadt.
    (Ik probeer voor nu om de BAG input testfile in PostGis te laden als test)
Bas Couwenberg
@sebastic

De deprecated Python module (https://ports.macports.org/port/py-deprecated/) is een dependency van Stetl.

localhost is vrijwel zeker niet de hostname van de machine. De options file voor de host wordt door stetl.sh geladen als deze bestaat:

host_options_file="options/$(hostname).args"
[[ -f "${host_options_file}" ]] && options_file="${host_options_file}"

https://github.com/nlextract/NLExtract/blob/master/bagv2/etl/stetl.sh#L38-L39

Laurens
@Razpudding

Ah ok, hij stond niet bij de dependencies in de docs. Is er een standaard manier om alle dependencies van Stetl te installeren? Ik krijg na het installeren van deprecated nl de error dat de 'pkg_resources' module niet gevonden wordt. Die zou standaard beschikbaar moeten zijn door de installatie van pip (volgens de stetl instructies). Ik heb het idee dat main.py op de een of andere manier niet in de goede Python omgeving draait, maar geen idee hoe je dat kan oplossen. python -V geeft gewoon 3.9.4.

localhost is vrijwel zeker niet de hostname van de machine

Ik probeer het testbestand in een lokale PostGis db te laden. Waarom zou de hostname dan niet localhost zijn?

Ik ben nu al vrij lang bezig met deze setup. Misschien is het een beter idee om de Docker setup te proberen
Bas Couwenberg
@sebastic
In Debian zijn alle dependencies gepackaged en daarmee eenvoudig geinstalleerd, met macOS kan ik je niet verder helpen.
De Stetl dependencies zijn te vinden in: externals/stetl/requirements-main.txt
Die zou je met pip install -r externals/stetl/requirements-main.txt kunnen installeren, maar gezien de GDAL dependency gaat dat mogelijk fout.
Docker maakt het m.i. niet eenvoudiger, het introduceerd weer andere complexiteit.
Op een VM met Debian bullseye heb je NLExtract zo aan de praat na het installeren van de dependencies.
Laurens
@Razpudding
Snap ik, toch bedankt voor de moeite.
De stetl tests werkten allemaal dus dat deel van de setup lijkt goed te werken. Uiteindelijk wil ik automatisch BAG updates omzetten met NLExtract dus ik zal toch aan een docker moeten. Hopelijk werkt dat wel.
Jeroen Clemens Vermunt
@jeroenvermunt

Ik heb al super veel pogingen gedaan om de database op mijn systeem werkend te krijgen, maar om een of andere reden krijg ik het niet voor elkaar. Ik heb het met docker geprobeerd maar ook zonder, en op beide manieren krijg ik verschillende foutmeldingen. De methode zonder docker lijkt al iets dichterbij de oplossing dus vandaar dat ik me daar nu op focus. De boosdoener wanneer ik ./etl.sh daar lijkt het volgende te zijn:

2022-02-04 16:09:26,759 ogroutput INFO writing to file temp/bagger.xml
2022-02-04 16:09:27,783 ogroutput INFO written to temp/bagger.xml
2022-02-04 16:09:27,783 ogroutput INFO executing cmd=ogr2ogr -append -lco LAUNDER=YES -lco PRECISION=NO -lco FID=gid -lco SPATIAL_INDEX=NONE -f PostgreSQL "PG:dbname=bagv2 host=localhost port=5432 user=postgres password=postgres active_schema=test" -oo GFS_TEMPLATE=gfs/imbag-2.1.0.gfs -oo WRITE_GFS=NO -a_srs EPSG:28992 temp/bagger.xml
Warning 6: driver GML does not support open option WRITE_GFS
ERROR 1: PROJ: proj_create_from_database: SQLite error on SELECT name, coordinate_system_auth_name, coordinate_system_code, geodetic_crs_auth_name, geodetic_crs_code, conversion_auth_name, conversion_code, area_of_use_auth_name, area_of_use_code, text_definition, deprecated FROM projected_crs WHERE auth_name = ? AND code = ?: no such column: area_of_use_auth_name
ERROR 1: PROJ: proj_create_from_database: SQLite error on SELECT name, coordinate_system_auth_name, coordinate_system_code, geodetic_crs_auth_name, geodetic_crs_code, conversion_auth_name, conversion_code, area_of_use_auth_name, area_of_use_code, text_definition, deprecated FROM projected_crs WHERE auth_name = ? AND code = ?: no such column: area_of_use_auth_name
ERROR 1: PROJ: proj_create_from_database: SQLite error on SELECT name, coordinate_system_auth_name, coordinate_system_code, geodetic_crs_auth_name, geodetic_crs_code, conversion_auth_name, conversion_code, area_of_use_auth_name, area_of_use_code, text_definition, deprecated FROM projected_crs WHERE auth_name = ? AND code = ?: no such column: area_of_use_auth_name
ERROR 1: Failed to process SRS definition: EPSG:28992
2022-02-04 16:09:28,537 ogroutput INFO execute done

Hij lijkt een bepaalde kolom are_of_use_auth_name niet te kunnen vinden. In mijn bagv2 database zie ik alleen hetvolgende:

bagv2-# \dt+
                            List of relations
  Schema  |      Name       | Type  |  Owner   |    Size    | Description 
----------+-----------------+-------+----------+------------+-------------
 public   | spatial_ref_sys | table | postgres | 6968 kB    | 
 topology | layer           | table | postgres | 8192 bytes | 
 topology | topology        | table | postgres | 8192 bytes |

Ik gebruik Ubuntu 20.04, NLextract-1.5.3 en pSQL 12.9

Bas Couwenberg
@sebastic

The error komt van PROJ en heeft betrekking op de proj.db SQLite database: https://lists.osgeo.org/pipermail/gdal-dev/2020-December/053177.html

De NLExtract docker image gebruikt osgeo/gdal als basis wat weer op Ubuntu focal is gebaseerd. In focal zit proj (6.3.1-1), maar de GDAL docker image build een nieuwere PROJ. De NLExtract docker image gebruikt PostgreSQL 11 via de PGDG thirdparty repository, via de PostGIS dependencies wordt de proj (6.3.1-1) package geinstalleerd.

Als je NLExtract gebruikt op Debian bullseye heb je geen thirdparty repositories nodig, noch een custom build van PROJ. Doordat de LVBAG driver changes in 3.3.0 en 3.4.0 zijn gebackport is geen custom build van GDAL 3.4.0 nodig.

Jeroen Clemens Vermunt
@jeroenvermunt
ah op die manier, kan het zijn dat ik mijn eigen environment dan stuk heb gemaakt door GDAL 3.4.1 er op te forceren? Is hier een makkelijk oplossing voor, of kan ik het beste alles proberen te wipen en opnieuw beginnen
Bas Couwenberg
@sebastic
Mijn advies is om een Debian bullseye VM in te richten, daar hoef je alleen de dependencies te installeren welke allemaal gepackaged zijn.
Jeroen Clemens Vermunt
@jeroenvermunt
Ik heb geprobeerd het via een VM te doen, maar dit brengt weer andere fouten met zich mee. Ik ben dus toch teruggegaan naar de docker methode. als ik sudo docker run --name nlextract --workdir="/nlx/bagv2/etl" --rm -v $(pwd)/work:/work nlextract/nlextract:latest ./etl.sh -a bag_input_file=/work/bag_nieuw.zip run krijg ik het volgende:
022-02-07 22:34:31,691 postgis INFO Connecting to dbname=bagv2 user=postgres host=host.docker.internal port=5432
2022-02-07 22:34:31,701 postgis ERROR Cannot connect to database 'bagv2' e=could not translate host name "host.docker.internal" to address: Name or service not known

2022-02-07 22:34:31,701 postgis ERROR error 'PostGIS' object has no attribute 'cursor' in query: -- Tabellen voor BAG-Extract v2
-- Min of meer 1-1 met BAG model dus niet geoptimaliseerd
-- Te gebruiken als basis tabellen om specifieke tabellen
-- of VIEWs af te leiden.
-- 
-- Op alfabet. Zie finalize-tables-sql hoe de uiteindelijke
-- tabellen eruit zien.
--
Just van den Broecke
@justb4
De PostGIS server kan niet bereikt worden. Lijkt erop dat die lokaal op de Docker host draait (?). Dan moet je deze setting aan commando toevoegen:
--add-host=host.docker.internal:host-gateway zie hier.
1 reply
Just van den Broecke
@justb4
Liever in main chat reply-en, vaak zijn side threads niet zichtbaar.
Je kunt PostGIS op de host (of elke andere remote server) draaien. Alleen moet je dan de --add-host instellingen doen zoals ik hierboven aangaf.
atetz
@atetz

Hoi, misschien hoort het hier niet helemaal thuis maar na wat hulp van hier en wat troubleshooten is het gelukt om NLX te installeren op Ubuntu zonder Docker. Ik heb een stappenplan bijgehouden en dacht misschien is er iemand anders ook mee geholpen. Mocht je iets zien dat niet klopt of het hoort hier niet thuis, laat het dan vooral weten. De PostGIS installatie heb ik niet bijgehouden, hier is genoeg over te vinden. Daarnaast was ik een keer vastgelopen omdat ik de bash files uitvoerde als sudo. Toen ik dat deed kon Pyhton de modules niet vinden die ik via pip had geïnstalleerd (doh!):

1. NLExtract installatie Ubuntu voor BAGv2

Vanaf een kale Ubuntu Server 20.04.3 LTS installatie begonnen. Het installeren van de PostGIS database zit hier niet bij.

1.1. UbuntuGis repository toevoegen

  1. sudo add-apt-repository ppa:ubuntugis/ubuntugis-unstable
  2. sudo apt-get update

1.2. Python dependencies

  1. sudo apt install pip
  2. sudo apt install python3-dev python3-lxml

[comment]:symlink voor python folder

  1. sudo ln -s /usr/bin/python3.8 /usr/bin/python

1.3. PostgreSQL library

  1. sudo apt install libpq-dev

1.3.1. andere dependencies via pip

  1. pip install psycopg2
  2. pip install xlrd
  3. pip install openpyxl
  4. pip install deprecated

1.4. GDAL installatie

  1. sudo apt install gdal-bin
  2. sudo apt install libgdal-dev

[comment]:GDAL toevoegen aan de environment variables

  1. export CPLUS_INCLUDE_PATH=/usr/include/gdal
  2. export C_INCLUDE_PATH=/usr/include/gdal

1.5. PSQL client installatie (alleen noodzakelijk indien de database op een andere host draait)

  1. sudo apt install postgresql-client-12

1.5.1. bagv2 database aanmaken

[comment]:open psql sessie naar database server

  1. psql -h host -d postgres -U postgres

  2. CREATE DATABASE bagv2;

  3. \connect bagv2;
  4. CREATE SCHEMA test;
  5. create extension postgis;

[comment]:sessie afsluiten

  1. \q

1.6. clone laatste NLX versie naar /opt/

  1. cd /opt/
  2. git clone --recurse-submodules -j8 https://github.com/nlextract/NLExtract.git

1.6.1. psql connectionstring

[comment]: verander psql details in default.args

  1. vi /opt/NLExtact/bagv2/etl/options/default.args

1.7. download laatste bagv2 naar /tmp/

  1. curl https://service.pdok.nl/kadaster/adressen/atom/v1_0/downloads/lvbag-extract-nl.zip --output /tmp/lvbag-extract-nl.zip

1.8. run ETL's

  1. cd /opt/NLExtact/bagv2/etl
  2. ./etl.sh -a bag_input_file=/tmp/lvbag-extract-nl.zip

1.8.1. na ongeveer 2 uur....

  1. ./adres.sh

1.8.2. adres2.csv

  1. cd /opt/NLExtact/bagv2/etl/sql/adres
  2. psql -h host -d bagv2 -U postgres
  3. set search_path to test,public;
  4. \i adres2csv.sql

de csv file is te vinden in /tmp/

Bas Couwenberg
@sebastic
sudo ln -s /usr/bin/python3.8 /usr/bin/python
Dat moet je niet doen, je kunt beter de python-is-python3 package installeren om hetzelfde te berijken.
Persoonlijk gebruik ik deze change om stetl te laten werken:
diff --git a/bagv2/etl/stetl.sh b/bagv2/etl/stetl.sh
index 86989206..503a6c30 100755
--- a/bagv2/etl/stetl.sh
+++ b/bagv2/etl/stetl.sh
@@ -49,6 +49,6 @@ user_args="${@}"
 log_info "Using options_file=${options_file} and user_args=${user_args}"

 # Uiteindelijke commando.
-${STETL_HOME}/bin/stetl -a ${common_options_file} -a ${options_file} ${user_args}
+python3 ${STETL_HOME}/bin/stetl -a ${common_options_file} -a ${options_file} ${user_args}

 popd
atetz
@atetz
Ah nice ik wist niet dat daar een package voor was! Ik mag blijkbaar niet editen en ook niet verwijderen. Jammer.
Jeroen Clemens Vermunt
@jeroenvermunt
Na het uitvoeren van het stappenplan zonder sudo ln -s /usr/bin/python3.8 /usr/bin/python en de toevoeging van python3 krijg ik :
/opt/NLExtract/bagv2/etl/stetl.sh: line 49: 134958 Killed                  python3 ${STETL_HOME}/bin/stetl -a ${common_options_file} -a ${options_file} ${user_args}
/opt/NLExtract/bagv2/etl
Bas Couwenberg
@sebastic
Process gekilled door de OOM killer waarschijnlijk. Zorg dat voldoende RAM beschikbaar is.
Just van den Broecke
@justb4
Wilde ik ook al zeggen, is al eerder hier naar boven gekomen. In een Docker omgeving als Docker Desktop Mac moet je RAM aan Docker geven in instellingen.
Puk
@pukjennekens
Hey, is het mogelijk om met NLExtract een database in te schieten waar ik vervolgens een query op kan uit voeren om adhv postcode en huisnummer een straatnaam te krijgen?
Just van den Broecke
@justb4
Ja, dat kan middels de adres tabel (zie hierboven), maar er is ook een PDOK API via de Locatie Server.
Jeroen Clemens Vermunt
@jeroenvermunt

Hey, als ik ./etl.sh draai lijkt alles te werken naar behoren. Maar het lijkt erop dat de database uiteindelijk nogsteeds leeg is op het einde. Het draaien van ./adres.sh geeft:

2022-02-19 21:45:15,568 postgis ERROR error relation "verblijfsobjectactueelbestaand" does not exist
LINE 54:    FROM verblijfsobjectactueelbestaand v

Dit lijkt erg op #331, is dit hetzelfde of kan het ooks iets anders aan mijn kant zijn.

Bas Couwenberg
@sebastic

Redirect the output van etl.sh & adres.sh naar een logfile en check beide op errors:

./bagv2/etl/etl.sh 2>&1 | tee /tmp/etl.log && ./bagv2/etl/adres.sh 2>&1 | tee /tmp/adres.log
grep ERROR /tmp/etl.log /tmp/adres.log

Mogelijk is er te weinig vrije disk space om de kolommen aan te passen van de grote tabellen.

Jeroen Clemens Vermunt
@jeroenvermunt

Aan disk space zou het niet moeten liggen, ik heb nog ruim 400gb beschikbaar. De log bestanden zeggen het volgende:

etl.log:2022-02-20 01:33:15,146 postgis ERROR error column "identificatie" of relation "nummeraanduiding" does not exist
etl.log:2022-02-20 01:33:15,158 postgis ERROR error column "identificatie" does not exist
etl.log:2022-02-20 01:33:15,173 postgis ERROR error column "begindatumtijdvakgeldigheid" does not exist
etl.log:2022-02-20 01:33:15,255 postgis ERROR error column "geovlak" does not exist
adres.log:2022-02-20 00:36:41,361 postgis ERROR error relation "verblijfsobjectactueelbestaand" does not exist

De errors in etl.sh komen voor bij finalize-tables.sql, fill-reltables.sql, create-views.sql en create-indexes.sql respectievelijk.

Jeroen Clemens Vermunt
@jeroenvermunt
Dit is de volledige log bij fill-reltables.sql:
2022-02-20 01:33:15,149 fileinput INFO Read/parse ok for file=sql/fill-reltables.sql
2022-02-20 01:33:15,149 dboutput INFO executing SQL
2022-02-20 01:33:15,149 postgis INFO Connecting to dbname=bagv2 user=postgres host=localhost port=5432
2022-02-20 01:33:15,156 postgis DEBUG Connected to database bagv2
2022-02-20 01:33:15,158 postgis ERROR error column "identificatie" does not exist
LINE 23:         identificatie,
                 ^
HINT:  There is a column named "identificatie" in table "verblijfsobjectpand", but it cannot be referenced from this part of the query.
 in query: -- Fills the (Legacy) relation tables and nevenadres.
-- This is to remain compatible with BAG v1.
Bas Couwenberg
@sebastic
GDAL >= 3.4.0 is vereist, in GDAL 3.3.0 is het identificatie veld toegevoegd, en in GDAL 3.4.0 zijn woonplaatsRef (voor Nummeraanduiding objecten) en verkorteNaam (voor OpenbareRuimte objecten) toegevoegd.
Jeroen Clemens Vermunt
@jeroenvermunt

Bedankt! dat was inderdaad het probleem. Bedankt voor alle hulp, de adres tabel werkt super. Ik zou nog graag de adres-plus tabel willen activeren, alleen dit verloopt nog net niet helemaal soepel.

environment: ik gebruik nu ubuntu 22.04 met postgreSQL 13.
steps taken: ik heb etl.sh en adres.sh succesvol gedraait. \i adres2csv.sql op de database draaien werkt. Voor het plus tabel zet ik \i adres-tabel-plus.sql aan
expected output: een adres_plus tabel
actual output: ik krijg een paar meldingen dat er wat tabellen missen, deze staan hieronder. Wat vooral vervelend is dat er op een gegeven moment de melding komt in de trant van relation "adres_plus" does not exist, vervolgens restart mijn systeem. Mis ik wat stappen om de adres plus werkend te krijgen?

NOTICE:  table "verblijfsobjectgebruiksdoelactueelbestaand_pivot" does not exist, skipping
NOTICE:  table "vbo_woningtype" does not exist, skipping
NOTICE:  table "vbo_woningtype_ontdubbeld" does not exist, skipping
NOTICE:  table "vbo_actueelbestaand_met_aantal_verbonden_pnd" does not exist, skipping

sidenote: om dit soort issues te voorkomen lijkt het mij verstandig om simpelweg de docker image te gebruiken. Echter als ik dit doe met de command sudo docker run --name nlextract --add-host=host.docker.internal:host-gateway --rm -v $(pwd)/work:/work -e "PGOPTIONS=--search_path=test" -e "PGPASSWORD=<my_password>" nlextract/nlextract:latest psql -f bagv2/etl/sql/adres/adres-tabel-plus.sql -h localhost -U <my_user> kan ik geen verbinding maken, terwijl sudo lsof -i tcp:5432 wel de postgres server aangeeft.

psql: could not connect to server: Connection refused
    Is the server running on host "localhost" (127.0.0.1) and accepting
    TCP/IP connections on port 5432?
could not connect to server: Cannot assign requested address
    Is the server running on host "localhost" (::1) and accepting
    TCP/IP connections on port 5432?
Just van den Broecke
@justb4
Je moet niet localhost gebruiken maar host.docker.internal. Die naam is willekeurig, net even gezocht, zie bijv hier:
https://www.cloudsavvyit.com/14114/how-to-connect-to-localhost-within-a-docker-container/
Jeroen Clemens Vermunt
@jeroenvermunt
Bedankt voor de hulp!
Ik zag trouwens dat in adres_full meerdere rijen in de database hetzelfde zijn met ook hetzelfde adresseerbaar object. Betekent dit iets of ik deze verwijderen?
Just van den Broecke
@justb4
Geen idee, zou niet moeten. adres_full wordt niet meer direct gegenereerd, maar afgeleid van adres_plus, daar komt elk adres 1x voor, nergens dubbeling.
Peter Saalbrink
@petersaalbrink
Goedemiddag! Ik ga overstappen van het gratis BAG Extract naar dagmutaties. Ik heb hierover twee vraagjes mbt het gebruik van NLExtract
  • Volgens de README kan ik hiervoor NLExtract gebruiken, maar op RTD staat (nog) dat dit een to-do is. Is deze laatste informatie achterhaald?
  • Is er een overzicht van dingen waarop ik moet letten bij deze overstap, of heeft iemand misschien tips? :)
Just van den Broecke
@justb4
@petersaalbrink mutatie-verwerking is nog geen onderdeel van NLExtract voor BAGv2, was wel in BAG v1. Is dus nog steeds een TODO.
Misschien dat iemand een contributie hiervoor kan doen? Zat ineens te denken: een quick, niet eens zo dirty oplossing kan zijn om uit de mutatie-XML bestanden met XSLT de update-SQL te genereren.
Peter Saalbrink
@petersaalbrink
@justb4 bedankt voor je antwoord! Wellicht dat ik ergens in de komende periode zelf een poging ga wagen met XSLT, ik zal ook vast een issue openen op GitHub.
Wellicht dat iemand nog iets heeft liggen.
Just van den Broecke
@justb4
Of Jinja2 Templating ipv XSLT, maar is net waar je kennis ligt.
Bas Couwenberg
@sebastic
Er is ook een Python implementatie als alternatief voor de GDAL BAG-LV driver (welke geen mutaties ondersteunt), de Python implementatie zou aangepast kunnen worden met support voor mutaties, het is echter niet geupstreamed in Stetl wegens gebrek aan vraag.
Peter Saalbrink
@petersaalbrink
Hi @sebastic, thanks voor de suggestie, is deze implementatie online te vinden?
Bas Couwenberg
@sebastic
De betreffende repo is niet online beschikbaar, maar de betreffende patches zijn geexporteerd naar https://linuxminded.nl/tmp/stetl-bag2.0-python.tar.gz
Peter Saalbrink
@petersaalbrink
Top, thanks! Goeie reden om mezelf eens bekend te maken met Stetl :)
Peter Saalbrink
@petersaalbrink
Hi @sebastic het lukt me nog niet helemaal om alle puzzelstukjes met Stetl in elkaar te leggen, heb je toevallig ook een etl.cfg behorend bij bovenstaande patches klaarliggen? Zo niet, dan puzzel ik rustig verder! Het is me tot nu toe gelukt om de ZIP met de mutatie XML in te lezen via Stetl.
Bas Couwenberg
@sebastic
7 replies
Jeroen Clemens Vermunt
@jeroenvermunt

Hoi iedereen,

Er zijn mij wat dingen opgevallen wtb de inhoud van het bag en mijn interpretatie ervan. Zelf maak ik alleen gebruik van de adressen lijst. Ik denk dat de meeste (zo niet allemaal) vanuit het bag zelf komen. Ik vroeg mij af hoe andere die regelmatig met het bag werken hiermee omgaan.

1) er zijn duplicate adresseerbaarobject identifiers (~ 33000). Ik heb deze bekeken en in de gevallen die ik heb gezien is vaak alleen de nummeraanduiding of het pandid anders. Als ik kijk op bijvoorbeeld wozwaardeloket.nl (ik neem aan dat ze hier ook van het bag gebruik maken) staat er (in de gevallen die ik heb gezien) maar 1 adres vermeld.
2) Sommige adressen staan niet volledig in de huidige uitdraai van alle adressen. Een voorbeeld hiervan is Korte Geuzenstraat 700. Dit zijn een stel woningen met allemaal hetzelfde adreseerbaarobject en postcode+huisnummer. Op woz-waardeloket zie ik dat deze adressen wel een losse 'identificatie' hebben. Is dat misschien een andere identificatie dan het 'VBO'? Zo ja, kan ik die ergens uit het bag halen om de adressen te updaten?

Het zijn geen hele grote punten, maar ik zou ze wel graag op willen lossen, want waarschijnlijk gaan ze later complicaties op leveren in toepassingen. Bij 1 weet ik bijvoorbeeld niet welk pandid / nummeraanduiding ik het best kan behouden, en 2 zorgt ervoor dat het gewoon net niet helemaal compleet is. Iemand die ervaring heeft met deze punten? Ik maak gebruik van het gratis bag-extract.

Just van den Broecke
@justb4
Hoi @jeroenvermunt kun je iets specifieker zijn? bijv:
"...de adressen lijst. " - welke tabel bedoel je?
ad 1) zijn dit geen Nevenadressen? 1 AO heeft 1 Hoofdadres en 0 of meer Nevenadressen (Nummeraanduidingen).
ad 2) "..de huidige uitdraai van alle adressen.." zelfde vraag. Begrip "woning" bestaat niet in BAG.
Korte Geuzenstraat 700: geen idee, is een groot pand met allemaal verschillende adressen in BAGViewer.
Jeroen Clemens Vermunt
@jeroenvermunt

Hoi @justb4 ,

Bedankt voor je reactie! Met "de adressen lijst" bedoel ik de adres_full tabel, deze gebruik ik zelf met wat aanvullingen
ad 1) ah zo, dat wist ik niet. Dat maakt het al een stuk duidelijker. Toch komt het ook voor dat enkel het pandid verschilt, ik zal er nog eens naar kijken

ad 2) gek, in bag viewer zie je ook niet dat er meerdere woningen (of adressen, ik weet niet hoe ik het moet noemen) op huisnummer 700.