Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Repo info
Activity
  • Jan 07 23:47
    dependabot[bot] labeled #299
  • Jan 07 23:47
    dependabot[bot] opened #299
  • Jan 07 23:47

    dependabot[bot] on pip

    Bump lxml from 4.6.1 to 4.6.2 … (compare)

  • Jan 05 16:07
    ynte commented #275
  • Jan 02 14:23

    justb4 on 1.5.1

    (compare)

  • Jan 02 14:16

    justb4 on master

    LAATSTE COMMIT voor v1.5.1 (compare)

  • Jan 02 14:13
    justb4 milestoned #238
  • Jan 02 14:13
    justb4 demilestoned #238
  • Jan 02 14:13
    justb4 milestoned #258
  • Jan 02 14:13
    justb4 demilestoned #258
  • Jan 02 12:13

    justb4 on master

    Add support for XLSX files with… Update gemeente-provincie koppe… Update gemeente-provincie koppe… and 1 more (compare)

  • Jan 02 12:13
    justb4 closed #294
  • Jan 02 12:12
    justb4 milestoned #294
  • Jan 02 12:12
    justb4 labeled #294
  • Jan 02 12:11
    justb4 labeled #294
  • Jan 02 12:11
    justb4 assigned #294
  • Jan 02 12:11
    justb4 review_requested #294
  • Dec 31 2020 23:00
    sebastic commented #294
  • Dec 24 2020 14:30
    woutergd opened #298
  • Dec 23 2020 15:36

    justb4 on master

    remove obsolete files (compare)

Steven Ottens
@stvno
:+1:
Just van den Broecke
@justb4
Ok, done. Dus mensen: nieuwe release 1.4.0 NLExtract nu beschikbaar: zie https://github.com/nlextract/NLExtract/releases/tag/v1.4.0.
Steven Ottens
@stvno
gedownload en getest met top500: :+1:
#276 maar mergen in master?
Just van den Broecke
@justb4
Is al gebeurd! Wat gaat die NLExtract ontwikkeling ineens hard :smile:
Steven Ottens
@stvno
Ja dat krijg je als je ontwikkelaars dwingt om met NLextract te werken :grinning:
Hèlen Grives
@mesmoiron
Goeiemorgen, sinds twee dagen probeer ik wegwijs te worden uit BAG en nu dus ook NLextract😂. Ik ben beginnend programmeur - meer nog een eindgebruiker die een eigen vastgoedplatform wil maken. Vanuit dit perspectief ben ik blij met NLextract maar mis ik ook nog eindgebruiker informatie. Met het downloaden dacht ik dus adressen te downloaden die ik via XML kon inlezen. Dat bleek dus niet zo te zijn.
ik probeer nu de juiste workflow te achterhalen. Ik werk namelijk niet dagelijks met geo-databases. 🤔 mijn mvp maak ik met wordpress.
Just van den Broecke
@justb4
@mesmoiron er is documentatie: https://docs.nlextract.nl/en/latest/index.html heb je die al gezien? NLExtract is gemaakt met Python, behoorlijk geavanceerd en je hebt een PostGIS database nodig. (Installatie) zal lastig zijn als je beginnend programmeur bent, maar neem het stap voor stap. Ik kan uit je tekst niet goed achterhalen wat je precies wilt (bijv "..het downloaden" data van Kadaster, NLExtract software?). Als je alleen BAG-CBS adressen in CSV nodig hebt, kun je die ook via https://geotoko.nl downloaden (helaas wel betaald), dan heb je NLExtract software niet nodig en kun je op je eigen product focussen. Het maken van een "vastgoedplatform" lijkt mij al enorme uitdaging.
Hèlen Grives
@mesmoiron
@justb4 op Windows draait postgis ik heb wel iets gedaan met GrassGis. Het verschil is me nog niet duidelijk. Op Ubuntu heb ik nog niet alles werkend gekregen. Uiteindelijk wil ik een bestand hebben met gewone adressen, met extra informatie bv bewoond onbewoond en foto van de locatie dmv Google streetview. Het bestand moet eventueel door een ander programma geconverteerd worden op een manier dat het geïmporteerd kan worden ivia XML of csv. Het is me nog niet helemaal duidelijk wat ik met NLextract kan doen. Wat de output formaten zijn. Bijv shapediles. Met andere woorden moet ik de gis database of een ander programma gebruiken om de uitput in een menselijk leesbaar formaat te krijgen inclusief longitude latitude coördinaten. Zoiets in lekentaal.
Just van den Broecke
@justb4
@mesmoiron een aantal van je vragen staan beantwoord in de documentatie: https://docs.nlextract.nl/en/latest/bagextract.html heb je die al bekeken? oa "...het inlezen en verrijken van Kadaster BAG (Basisregistratie Adressen en Gebouwen) GML leveringen in (voorlopig) een Postgres/Postgis database.". PostGIS (Vergeet GRASS GIS voor nu) zou centraal moeten zijn, en zou Ubuntu gebruiken. Vanuit PostGIS kun je naar allerlei andere formaten: XML, CSV en zelfs ShapeFiles...Vragen over PostGIS en GIS algemeen kun je beste stellen op het GeoForum.nl.
ErikHeeres
@ErikHeeres
Hoi allemaal! Als eerste natuurlijk ontzettend bedankt voor het werk dat jullie doen. Gisteren voor het eerst aan de gang gegaan met de code ipv de dumps en het werkte vrij soepel (nadat ik de code vanuit een docker draaide ipv lokaal). Vraagje; Hoe gaat het updaten van de BAG in zijn werk? Is dat een kwestie van de inspireadressen.zip (via atomfeed) opnieuw downloaden en dan weer bagextract.py -e inspireadressen.zip draaien of is er een mutatiebestand nodig oid?
Steven Ottens
@stvno
Momenteel is het inderdaad een kwestie van opnieuw downloadden en bagextract draaien. Effectief dus een volledige drop and replace en geen update (als in dat je weet wat er veranderd is)
ErikHeeres
@ErikHeeres
Oke duidelijk! Bedankt
Just van den Broecke
@justb4
Beste Mensen, denk dat BRK-DKK v3 levering definitief gestopt is bij PDOK en we over moeten naar v4, met ook bijkomende voordelen als dagelijkse actualiteit: https://geoforum.nl/t/webservices-kadastrale-kaart-v3-worden-beeindigd/3853. Is er al iemand toevallig bezig met: nlextract/NLExtract#272 ?
Just van den Broecke
@justb4
Ik hoor vaak "CSV BAG bestand opent niet in EXCEL". Ben geen Excel kenner. Met plm 10 miljoen adressen en 22 kolommen (BAG Full) lijkt mij dit ook lastig in welk spreadsheet dan ook. Of betaan er truucs voor, bijv opsplitsen (per gemeente/provincie) in tabbladen?
Pander
@PanderMusubi
LibreOffice Calc heeft er ook een flinke uitdaging aan. Die geeft de foutmelding "The data could not be loaded completely because the maximum number of rows per sheet was exceeded.", maar laadt wel 1048576 van de 9064174 regels. Dus waarschijnlijk is ook het opsplitst aanbieden per provincie een uitkomst voor veel mensen.
Moet hiervoor een issue voor worden aangemaakt?
Just van den Broecke
@justb4
ja doe maar, een andere optie is mogelijk op postcode 1000-tallen, krijg je 10 bestanden of wie-weet op gemeenten. Zou leuk zijn als iemand via tooling daar 1 Excel bestand met N tabbladen van kan genereren. Er bestaat toch een open Excel (XML?) formaat?
Pander
@PanderMusubi
Ik test wel even of opdelen op provincies werkt voor Excel en Calc en maak daarna een issue aan. Lijkt me toch de meest makkelijke manier, anders moeten mensen weer tabbladen gaan combineren. Lijkt me ook dat de meeste mensen die dit in Excel willen gebruiken we verder zo min mogelijk met extra technische vaardigheden moeten belasten.
Reinier Sterkenburg
@ReinierNL
Ik wilde ook maar eens proberen of ik met behulp van de source code de DKK naar PostGIS om kon zetten. Begreep dat het voor de DKK 'gewoon' met stetl zou moeten kunnen.
Ik wilde proberen dat op Windows met Python 3 te doen en ben wel een eindje gekomen maar het is nog niet helemaal gelukt. Ik wilde in ieder geval even delen wat er wèl gelukt is en misschien kan er door iemand op voortgeborduurd worden.
Het eerste waar ik tegenaan liep was dat de code nog gedeeltelijk Python2 syntax gebruikte. Klassiek: print statements zonder haakjes. Exceptions met komma in plaats van 'as'.
Tevens een paar packages met een andere naam (io vs StringIO; configparser) c.q. die nog extra met pip geïnstalleerd moesten worden.
Verder moest ik nog even ontdekken dat je (in Windows) niet gewoon stetl moet (kunt) runnen maar dat je vanuit python de main.py van stetl moet runnen (in de juiste folder en met de config file als parameter). So far so good en ik kan nu vanuit PyCharm in ieder geval een debug run starten.
Hij loopt dan vast als-ie dmv factory.py instances van classes moet gaan creëren. Ik begrijp niet zo goed waarom dat mis gaat, want de packages/modules (i.c. inputs) waar die klasses in gedefinieerd zijn zouden vindbaar moeten zijn dacht ik. maar goed. hier loop ik nu even vast.
Hulp is welkom (maar ik reken nergens op).
Wil iemand mijn wijzigingen om stetl met python3 aan de praat te krijgen nog hebben? (in welke vorm?)
Just van den Broecke
@justb4
@ReinierNL je kunt altijd aan de documentatie bijdragen via NLExtract GitHub PRs. Ik kan je niet met Windows-specifieke zaken helpen, ken het niet. Denk dat het beter is om dan met Docker te werken. Python met vooral "native" afhankelijkheden via GDAL en lxml lijkt mij een uitdaging op Windows. Op Mac OSX en Linux is het werken met Open Source (Geo) software in het algemeen een stuk comfortabeler...
Pander
@PanderMusubi

@justb4 dit zijn de resultaten van testen met LibreOffice Calc, verwacht met MS Excel meer problemen. https://ethercalc.org/9sei51apa8id

Oplossing die we voor ogen hadden is dus helaas niet mogelijk.

Misschien wil iemand er een MS Access database van maken :laughing:
En zonder grapje, we kunnen het ook als een Sqlite database aanbieden.
Just van den Broecke
@justb4
@PanderMusubi bedankt voor uitzoeken. Denk dat die laatste optie een goede is: denk dan zelfs als GeoPackage. We moeten verder mensen denk ik "opvoeden" om geen spreadsheets voor dit soort megadata te gebruiken. Inladen is 1 ding maar zie niet voor me hoe allerlei bewerkingen kunnen worden uitgevoerd.
Pander
@PanderMusubi
Inderdaad. Al wil ik wel OpenStreetMap van heel de wereld downloaden, in Word openen en met Ctrl+F zoeken naar de dichtstbijzijnde parkeerplaats.
Just van den Broecke
@justb4
:smile:
Reinier Sterkenburg
@ReinierNL
Even terugkomend op mijn berichtje van afgelopen woensdag:
Het is me inmiddels gelukt om de DKK naar PostGIS om te zetten, met Python3 onder Windows.
Het probleem zat in de versie van stetl.
Om een of andere reden wordt een oude versie (1.2) van stetl uitgecheckt bij het clonen.
Ik heb nu versie 2.0 (althans, de master branch) uitgecheckt en die werkte eigenlijk meteen probleemloos.
Just van den Broecke
@justb4
@ReinierNL ja de Python3 upgrade was m.i. alleen voor de BAG. De overige ETLs zijn op Stetl gebaseerd. Daarvoor moet o.a. de git-submodule externals/stetl updaten ook in GitHub, inderdaad naar Stetl v2.0 omdat deze Python3 ondersteunt. Ik denk/weet dat er daarnaast nog meer wijzigingen nodig zijn, zoals hier beschreven, o.a. het specificeren van Stetl Classes in de config (daar moet stetl. voor). Dan is er ook nog Python code in NLExtract die o.a. voor BGT gebruikt wordt (subfeaturehandler.py bijv). Plus denk ik dat je het nu voor BRK-DKK v3 werkend hebt, die wordt niet meer geleverd, alleen nog v4, is weer heel nieuw verhaal met oa. BGT features. Maar als je vast een PR kan doen graag!
Bèr Kessels
@berkes

Goedenmiddag!.

Al sinds midden Februari zijn de imports naar openaddresses.io kapot. Dat komt omdat nlextract nu achter een betaalmuur zit: openaddresses/openaddresses#5019

Is er ergens een importer of extracter die -bijvoorbeeld- maandelijks een CSV bakt van de inspire XML bestanden die niet achter een betaalmuur zitten? Uiteraard staat het iedereen vrij om geld te vragen voor het draaien en onnderhouden van exports, maar een dienst als openaddresses kan/zal daar helaas niet voor betalen.

Bèr Kessels
@berkes

Openaddresses hint dat het ook GML aankan, maar meer dan een config optie voor de imports lijkt het niet te zijn: https://github.com/openaddresses/openaddresses/blob/master/CONTRIBUTING.md#processing-tags Ik kan iig niet vinden hoe ik de openaddresses importers zover kan krijgen om de XMLs in de inspireset te parsen&importeren. Over het importeren van een CSV is genoeg documentatie te vinden.

Hier is te zien hoe de nlextract bron ingelezen moet worden (maar deze faalt want de download geeft een error omdat betaald moet worden ?) https://github.com/openaddresses/openaddresses/blob/master/sources/nl/countrywide.json

Just van den Broecke
@justb4
Hmm, ja. Het is wel zo dat voor dergelijke Open projecten data uit geotoko.nl gereduceerd tot gratis beschikbaar kan worden gesteld. Bijv OpenStreetMap. Enige lastige is dat geotoko-downloads met een versleutelde/unieke URL werken...Ik kan eens contact met OpenAddresses opnemen.
Bèr Kessels
@berkes
Hoewel heel aardig, en zeker voor nu een oplossing, is het altijd beter als projecten als OA of OSM gebruik kunnen maken van écht open data. Vooral qua licenties.
Dus zowel "open" qua licentie, als "open" qua toegankelijkheid. Voor geotoko lijkt me dat ook een betere optie. Want in zekere zin is OA dan een concurrent van ze, iig van een deel van de producten. En geotoko moet dan een download live "open" zetten, iets wat in de openbare sourcecode van OA terug te zien is, en waar dus iedereen dat product gratis kan downloaden. Ook dat lijkt me niet duurzaam als oplossing.
ErikHeeres
@ErikHeeres
Even een vraagje tussendoor. Bij het runnen van python bagextract.py -e inspireadressen.zip, krijg ik nu: "ERROR: fout unicode argument expected, got 'str' in XML DOM processing, bestand=9999NUM08072020-000004.xml", dit komt bij elk pakket voor. Hij gebruikt gewoon lxml.etree, maar lijkt toch dat daar iets mis gaat. Iemand een idee waar dit in kan zitten?
ErikHeeres
@ErikHeeres
Heb het idee dat het aan de pythonversies lag.. Heb nu een docker gemaakt met python3 en die code van de GIT gepakt en dat werkt zonder problemen!
Just van den Broecke
@justb4
Wel handig om bij dit soort vragen te vermelden welke versies je gebruikt: NLExtract, Python, OS, etc. Maar goed, mooi, het is blijkbaar opgelost.
ErikHeeres
@ErikHeeres
Excuses, het ging om de laatste NLextract versie, python 2.7 en ubuntu 18.
ErikHeeres
@ErikHeeres
Ik heb een tijd de master versie van NLExtract zonder problemen kunnen draaien voor de BGT (ubuntu 18, python 2.7 in een docker). En hij werkt ook nog steeds als ik via de download viewer van PDOK een gebiedje (zoals Amsterdam) selecteer en die los download. Maar wanneer ik heel Nederland er probeer in te zetten loopt hij vast op bgt_begroeidterreindeel.gml: "./etl-imgeo.sh: line 42: 360 Killed python $STETL_HOME/stetl/main.py -c conf/etl-imgeo-v2.1.1.cfg -a $options_file". Kan me niet voorstellen dat hier een fout in zit aangezien hij een kleiner gebied wel zonder problemen verwerkt?
Just van den Broecke
@justb4
Zeer waarschijnlijk een geheugenprobleem. De BGT groeit als kool. In bladen downloaden en verwerken kan helpen, of meer geheugen natuurlijk...
ErikHeeres
@ErikHeeres
Bedankt! Ik ga het uitproberen
Just van den Broecke
@justb4
Er is een nieuwe release van NLExtract: 1.5.0, zie https://github.com/nlextract/NLExtract/releases/tag/1.5.0
Rein van 't Veer
@reinvantveer
Naar Python3, wat goed!
Just van den Broecke
@justb4
Wie wil meedenken en liefst ook ontwikkelen aan BAG v2 support in NLExtract? Bij toeval zag ik dat er een LVBAG Driver voor GDAL ontwikkeld wordt. Zou mooie start zijn die uit te testen. Ik heb al wat gedaan in aparte NLExtract branch bagv2. Zie ook issue: nlextract/NLExtract#296 en GDAL LVBAG driver: https://gdal.org/drivers/vector/lvbag.html . Er zal nog veel werk nodig zijn om dit op zelfde nivo te krijgen als huidige NLExtract voor BAG. Daarom ook al wat GDAL issues geopend.
Frank Steggink
@fsteggink
Ik zag toevallig dat je gelijk maar GDAL 3.2.0 als requirement hebt ingesteld, vanwege de LVBAG driver. Persoonlijk vind ik dat op dit moent een stap te ver gaan. Mede omdat er geen Windows build is voor de Python-bindings van GDAL 3.2.0 (https://www.lfd.uci.edu/~gohlke/pythonlibs/#gdal). Zou je deze dependency ook naar de bagv2 branch willen verhuizen?
Just van den Broecke
@justb4
done, was niet bedoeling. die dep stond al in bagv2 branch.
Stephan Preeker
@spreeker
Hi, ik heb net van BAG import gedraaid en de gemeente en gemeente_provincie tabel blijven leeg. Moet ik hiervoor een bron bestand ergens downloaden? In de source zie ik een verwijzing naar http://www.kadaster.nl/bag/docs/BAG_Overzicht_aangesloten_gemeenten.zip die niet werkt.
ik heb op pdok wel actuele gemeente en provincie grenzen gevonden.
Stephan Preeker
@spreeker
Ik heb de db/data/gemeentelijke-indeling.xml ingeladen. nu is alles gevult.
Just van den Broecke
@justb4
Uit m'n hoofd: gemeentelijke-indeling.xml wordt ingeladen bij draaien bag-extract.sh met --dbinit.