Ok, done. Dus mensen: nieuwe release 1.4.0 NLExtract nu beschikbaar: zie https://github.com/nlextract/NLExtract/releases/tag/v1.4.0.
#276 maar mergen in master?
Goeiemorgen, sinds twee dagen probeer ik wegwijs te worden uit BAG en nu dus ook NLextract😂. Ik ben beginnend programmeur - meer nog een eindgebruiker die een eigen vastgoedplatform wil maken. Vanuit dit perspectief ben ik blij met NLextract maar mis ik ook nog eindgebruiker informatie. Met het downloaden dacht ik dus adressen te downloaden die ik via XML kon inlezen. Dat bleek dus niet zo te zijn.
ik probeer nu de juiste workflow te achterhalen. Ik werk namelijk niet dagelijks met geo-databases. 🤔 mijn mvp maak ik met wordpress.
ik probeer nu de juiste workflow te achterhalen. Ik werk namelijk niet dagelijks met geo-databases. 🤔 mijn mvp maak ik met wordpress.
@mesmoiron er is documentatie: https://docs.nlextract.nl/en/latest/index.html heb je die al gezien? NLExtract is gemaakt met Python, behoorlijk geavanceerd en je hebt een PostGIS database nodig. (Installatie) zal lastig zijn als je beginnend programmeur bent, maar neem het stap voor stap. Ik kan uit je tekst niet goed achterhalen wat je precies wilt (bijv "..het downloaden" data van Kadaster, NLExtract software?). Als je alleen BAG-CBS adressen in CSV nodig hebt, kun je die ook via https://geotoko.nl downloaden (helaas wel betaald), dan heb je NLExtract software niet nodig en kun je op je eigen product focussen. Het maken van een "vastgoedplatform" lijkt mij al enorme uitdaging.
@justb4 op Windows draait postgis ik heb wel iets gedaan met GrassGis. Het verschil is me nog niet duidelijk. Op Ubuntu heb ik nog niet alles werkend gekregen. Uiteindelijk wil ik een bestand hebben met gewone adressen, met extra informatie bv bewoond onbewoond en foto van de locatie dmv Google streetview. Het bestand moet eventueel door een ander programma geconverteerd worden op een manier dat het geïmporteerd kan worden ivia XML of csv. Het is me nog niet helemaal duidelijk wat ik met NLextract kan doen. Wat de output formaten zijn. Bijv shapediles. Met andere woorden moet ik de gis database of een ander programma gebruiken om de uitput in een menselijk leesbaar formaat te krijgen inclusief longitude latitude coördinaten. Zoiets in lekentaal.
@mesmoiron een aantal van je vragen staan beantwoord in de documentatie: https://docs.nlextract.nl/en/latest/bagextract.html heb je die al bekeken? oa "...het inlezen en verrijken van Kadaster BAG (Basisregistratie Adressen en Gebouwen) GML leveringen in (voorlopig) een Postgres/Postgis database.". PostGIS (Vergeet GRASS GIS voor nu) zou centraal moeten zijn, en zou Ubuntu gebruiken. Vanuit PostGIS kun je naar allerlei andere formaten: XML, CSV en zelfs ShapeFiles...Vragen over PostGIS en GIS algemeen kun je beste stellen op het GeoForum.nl.
Hoi allemaal! Als eerste natuurlijk ontzettend bedankt voor het werk dat jullie doen. Gisteren voor het eerst aan de gang gegaan met de code ipv de dumps en het werkte vrij soepel (nadat ik de code vanuit een docker draaide ipv lokaal). Vraagje; Hoe gaat het updaten van de BAG in zijn werk? Is dat een kwestie van de inspireadressen.zip (via atomfeed) opnieuw downloaden en dan weer bagextract.py -e inspireadressen.zip draaien of is er een mutatiebestand nodig oid?
Beste Mensen, denk dat BRK-DKK v3 levering definitief gestopt is bij PDOK en we over moeten naar v4, met ook bijkomende voordelen als dagelijkse actualiteit: https://geoforum.nl/t/webservices-kadastrale-kaart-v3-worden-beeindigd/3853. Is er al iemand toevallig bezig met: nlextract/NLExtract#272 ?
LibreOffice Calc heeft er ook een flinke uitdaging aan. Die geeft de foutmelding "The data could not be loaded completely because the maximum number of rows per sheet was exceeded.", maar laadt wel 1048576 van de 9064174 regels. Dus waarschijnlijk is ook het opsplitst aanbieden per provincie een uitkomst voor veel mensen.
Moet hiervoor een issue voor worden aangemaakt?
Ik test wel even of opdelen op provincies werkt voor Excel en Calc en maak daarna een issue aan. Lijkt me toch de meest makkelijke manier, anders moeten mensen weer tabbladen gaan combineren. Lijkt me ook dat de meeste mensen die dit in Excel willen gebruiken we verder zo min mogelijk met extra technische vaardigheden moeten belasten.
Ik wilde ook maar eens proberen of ik met behulp van de source code de DKK naar PostGIS om kon zetten. Begreep dat het voor de DKK 'gewoon' met stetl zou moeten kunnen.
Ik wilde proberen dat op Windows met Python 3 te doen en ben wel een eindje gekomen maar het is nog niet helemaal gelukt. Ik wilde in ieder geval even delen wat er wèl gelukt is en misschien kan er door iemand op voortgeborduurd worden.
Het eerste waar ik tegenaan liep was dat de code nog gedeeltelijk Python2 syntax gebruikte. Klassiek: print statements zonder haakjes. Exceptions met komma in plaats van 'as'.
Tevens een paar packages met een andere naam (io vs StringIO; configparser) c.q. die nog extra met pip geïnstalleerd moesten worden.
Verder moest ik nog even ontdekken dat je (in Windows) niet gewoon stetl moet (kunt) runnen maar dat je vanuit python de main.py van stetl moet runnen (in de juiste folder en met de config file als parameter). So far so good en ik kan nu vanuit PyCharm in ieder geval een debug run starten.
Hij loopt dan vast als-ie dmv factory.py instances van classes moet gaan creëren. Ik begrijp niet zo goed waarom dat mis gaat, want de packages/modules (i.c. inputs) waar die klasses in gedefinieerd zijn zouden vindbaar moeten zijn dacht ik. maar goed. hier loop ik nu even vast.
Hulp is welkom (maar ik reken nergens op).
Wil iemand mijn wijzigingen om stetl met python3 aan de praat te krijgen nog hebben? (in welke vorm?)
Ik wilde proberen dat op Windows met Python 3 te doen en ben wel een eindje gekomen maar het is nog niet helemaal gelukt. Ik wilde in ieder geval even delen wat er wèl gelukt is en misschien kan er door iemand op voortgeborduurd worden.
Het eerste waar ik tegenaan liep was dat de code nog gedeeltelijk Python2 syntax gebruikte. Klassiek: print statements zonder haakjes. Exceptions met komma in plaats van 'as'.
Tevens een paar packages met een andere naam (io vs StringIO; configparser) c.q. die nog extra met pip geïnstalleerd moesten worden.
Verder moest ik nog even ontdekken dat je (in Windows) niet gewoon stetl moet (kunt) runnen maar dat je vanuit python de main.py van stetl moet runnen (in de juiste folder en met de config file als parameter). So far so good en ik kan nu vanuit PyCharm in ieder geval een debug run starten.
Hij loopt dan vast als-ie dmv factory.py instances van classes moet gaan creëren. Ik begrijp niet zo goed waarom dat mis gaat, want de packages/modules (i.c. inputs) waar die klasses in gedefinieerd zijn zouden vindbaar moeten zijn dacht ik. maar goed. hier loop ik nu even vast.
Hulp is welkom (maar ik reken nergens op).
Wil iemand mijn wijzigingen om stetl met python3 aan de praat te krijgen nog hebben? (in welke vorm?)
@ReinierNL je kunt altijd aan de documentatie bijdragen via NLExtract GitHub PRs. Ik kan je niet met Windows-specifieke zaken helpen, ken het niet. Denk dat het beter is om dan met Docker te werken. Python met vooral "native" afhankelijkheden via GDAL en lxml lijkt mij een uitdaging op Windows. Op Mac OSX en Linux is het werken met Open Source (Geo) software in het algemeen een stuk comfortabeler...
@justb4 dit zijn de resultaten van testen met LibreOffice Calc, verwacht met MS Excel meer problemen. https://ethercalc.org/9sei51apa8id
Oplossing die we voor ogen hadden is dus helaas niet mogelijk.
Misschien wil iemand er een MS Access database van maken :laughing:
En zonder grapje, we kunnen het ook als een Sqlite database aanbieden.
@PanderMusubi bedankt voor uitzoeken. Denk dat die laatste optie een goede is: denk dan zelfs als GeoPackage. We moeten verder mensen denk ik "opvoeden" om geen spreadsheets voor dit soort megadata te gebruiken. Inladen is 1 ding maar zie niet voor me hoe allerlei bewerkingen kunnen worden uitgevoerd.
Even terugkomend op mijn berichtje van afgelopen woensdag:
Het is me inmiddels gelukt om de DKK naar PostGIS om te zetten, met Python3 onder Windows.
Het probleem zat in de versie van stetl.
Om een of andere reden wordt een oude versie (1.2) van stetl uitgecheckt bij het clonen.
Ik heb nu versie 2.0 (althans, de master branch) uitgecheckt en die werkte eigenlijk meteen probleemloos.
Het is me inmiddels gelukt om de DKK naar PostGIS om te zetten, met Python3 onder Windows.
Het probleem zat in de versie van stetl.
Om een of andere reden wordt een oude versie (1.2) van stetl uitgecheckt bij het clonen.
Ik heb nu versie 2.0 (althans, de master branch) uitgecheckt en die werkte eigenlijk meteen probleemloos.
@ReinierNL ja de Python3 upgrade was m.i. alleen voor de BAG. De overige ETLs zijn op Stetl gebaseerd. Daarvoor moet o.a. de git-submodule
externals/stetl updaten ook in GitHub, inderdaad naar Stetl v2.0 omdat deze Python3 ondersteunt. Ik denk/weet dat er daarnaast nog meer wijzigingen nodig zijn, zoals hier beschreven, o.a. het specificeren van Stetl Classes in de config (daar moet stetl. voor). Dan is er ook nog Python code in NLExtract die o.a. voor BGT gebruikt wordt (subfeaturehandler.py bijv). Plus denk ik dat je het nu voor BRK-DKK v3 werkend hebt, die wordt niet meer geleverd, alleen nog v4, is weer heel nieuw verhaal met oa. BGT features. Maar als je vast een PR kan doen graag!
Goedenmiddag!.
Al sinds midden Februari zijn de imports naar openaddresses.io kapot. Dat komt omdat nlextract nu achter een betaalmuur zit: openaddresses/openaddresses#5019
Is er ergens een importer of extracter die -bijvoorbeeld- maandelijks een CSV bakt van de inspire XML bestanden die niet achter een betaalmuur zitten? Uiteraard staat het iedereen vrij om geld te vragen voor het draaien en onnderhouden van exports, maar een dienst als openaddresses kan/zal daar helaas niet voor betalen.
Openaddresses hint dat het ook GML aankan, maar meer dan een config optie voor de imports lijkt het niet te zijn: https://github.com/openaddresses/openaddresses/blob/master/CONTRIBUTING.md#processing-tags Ik kan iig niet vinden hoe ik de openaddresses importers zover kan krijgen om de XMLs in de inspireset te parsen&importeren. Over het importeren van een CSV is genoeg documentatie te vinden.
Hier is te zien hoe de nlextract bron ingelezen moet worden (maar deze faalt want de download geeft een error omdat betaald moet worden ?) https://github.com/openaddresses/openaddresses/blob/master/sources/nl/countrywide.json
Hmm, ja. Het is wel zo dat voor dergelijke Open projecten data uit geotoko.nl gereduceerd tot gratis beschikbaar kan worden gesteld. Bijv OpenStreetMap. Enige lastige is dat geotoko-downloads met een versleutelde/unieke URL werken...Ik kan eens contact met OpenAddresses opnemen.
Dus zowel "open" qua licentie, als "open" qua toegankelijkheid. Voor geotoko lijkt me dat ook een betere optie. Want in zekere zin is OA dan een concurrent van ze, iig van een deel van de producten. En geotoko moet dan een download live "open" zetten, iets wat in de openbare sourcecode van OA terug te zien is, en waar dus iedereen dat product gratis kan downloaden. Ook dat lijkt me niet duurzaam als oplossing.
Even een vraagje tussendoor. Bij het runnen van python bagextract.py -e inspireadressen.zip, krijg ik nu: "ERROR: fout unicode argument expected, got 'str' in XML DOM processing, bestand=9999NUM08072020-000004.xml", dit komt bij elk pakket voor. Hij gebruikt gewoon lxml.etree, maar lijkt toch dat daar iets mis gaat. Iemand een idee waar dit in kan zitten?
Ik heb een tijd de master versie van NLExtract zonder problemen kunnen draaien voor de BGT (ubuntu 18, python 2.7 in een docker). En hij werkt ook nog steeds als ik via de download viewer van PDOK een gebiedje (zoals Amsterdam) selecteer en die los download. Maar wanneer ik heel Nederland er probeer in te zetten loopt hij vast op bgt_begroeidterreindeel.gml: "./etl-imgeo.sh: line 42: 360 Killed python $STETL_HOME/stetl/main.py -c conf/etl-imgeo-v2.1.1.cfg -a $options_file". Kan me niet voorstellen dat hier een fout in zit aangezien hij een kleiner gebied wel zonder problemen verwerkt?
Er is een nieuwe release van NLExtract: 1.5.0, zie https://github.com/nlextract/NLExtract/releases/tag/1.5.0
Wie wil meedenken en liefst ook ontwikkelen aan BAG v2 support in NLExtract? Bij toeval zag ik dat er een LVBAG Driver voor GDAL ontwikkeld wordt. Zou mooie start zijn die uit te testen. Ik heb al wat gedaan in aparte NLExtract branch
bagv2. Zie ook issue: nlextract/NLExtract#296 en GDAL LVBAG driver: https://gdal.org/drivers/vector/lvbag.html . Er zal nog veel werk nodig zijn om dit op zelfde nivo te krijgen als huidige NLExtract voor BAG. Daarom ook al wat GDAL issues geopend.
Ik zag toevallig dat je gelijk maar GDAL 3.2.0 als requirement hebt ingesteld, vanwege de LVBAG driver. Persoonlijk vind ik dat op dit moent een stap te ver gaan. Mede omdat er geen Windows build is voor de Python-bindings van GDAL 3.2.0 (https://www.lfd.uci.edu/~gohlke/pythonlibs/#gdal). Zou je deze dependency ook naar de bagv2 branch willen verhuizen?
Hi, ik heb net van BAG import gedraaid en de gemeente en gemeente_provincie tabel blijven leeg. Moet ik hiervoor een bron bestand ergens downloaden? In de source zie ik een verwijzing naar http://www.kadaster.nl/bag/docs/BAG_Overzicht_aangesloten_gemeenten.zip die niet werkt.
ik heb op pdok wel actuele gemeente en provincie grenzen gevonden.