by

Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Repo info
Activity
  • Jul 01 12:56
    justb4 edited #288
  • Jul 01 12:45

    justb4 on 1.4.0

    #288 WIP adres plus tabel en me… (compare)

  • Jul 01 12:43
    justb4 labeled #288
  • Jul 01 12:43
    justb4 labeled #288
  • Jul 01 12:43
    justb4 assigned #288
  • Jul 01 12:43
    justb4 opened #288
  • Jun 24 11:36
    justb4 commented #259
  • Jun 17 07:08
    denboogert commented #280
  • Jun 17 04:06
    sebastic commented #280
  • Jun 16 12:07
    justb4 labeled #287
  • Jun 16 12:07
    justb4 labeled #287
  • Jun 16 12:07
    justb4 opened #287
  • Jun 15 14:25
    kanariezwart commented #259
  • Jun 08 14:37
    tombouderij commented #286
  • May 29 23:02
    tombouderij opened #286
  • May 23 14:02
    justb4 closed #285
  • May 23 14:02
    justb4 closed #284
  • May 23 13:59

    justb4 on 1.4.3

    (compare)

  • May 23 13:55

    justb4 on 1.4.0

    LAATSTE COMMIT voor v1.4.3 plus… (compare)

  • May 23 13:47

    justb4 on 1.4.0

    fix BAG tests (compare)

Rein van 't Veer
@reinvantveer
Ik ga bij mijn werkgever overleggen of ik een bijdrage (in tijd) kan leveren
Ben aardig onderlegd in Python, dus zou kunnen bijdragen in code, documentatie, tests, testconfiguraties etc. etc.
Steven Ottens
@stvno
het gaat nu hier vast drukker worden :D
Just van den Broecke
@justb4
dat zou alleen maar goed voor het project zijn :D. Bedenk dat ik "de mededeling" hier nog niet gedaan heb, ging er vanuit dat iedereen op de lijst staat en de meesten 'inhouse' NLExtracten. Ik geef de link hier naar de post: https://groups.google.com/forum/#!msg/nlextract/XE0J-ZfQ6yo/vMdNvVvfAwAJ. Liever reactie op mailing lijst. Deze Gitter is vooral voor ontwikkeling bedoeld, staat los van data downloads. Hulp bij inlezen bestanden via helpdesk: https://geotoko.freshdesk.com/ of support@geotoko.nl of we kunnen aparte Gitter opzetten.
Steven Ottens
@stvno
Is er eigenlijk al nagedacht over/werk gestopt in het paralleliseren van NLExtract?
Steven Ottens
@stvno
en een ander vraagje: is het een idee om een nlextract/docker project op github te maken voor een docker-versie?
Just van den Broecke
@justb4

Is er eigenlijk al nagedacht over/werk gestopt in het paralleliseren van NLExtract?

Moeten onderscheid maken BAG (expliciete code) en "De Rest", BGT, BRT, BRK (via Stetl): voor BAG: nlextract/NLExtract#126 en voor Stetl: geopython/stetl#41 . Wel nagedacht, geen expliciete aktie. Denk zelf dat beste zou zijn eerst BAG naar Stetl te brengen en daar parallelliseren.

en een ander vraagje: is het een idee om een nlextract/docker project op github te maken voor een docker-versie?

Ook goed idee, idd in apart project. Ook hier: BAG vs De Rest. Er is een Stetl Docker image. Stetl is echter alleen nog Py3. Dus eerst nlextract/NLExtract#276. Py3 voor de Stetl-based is redelijk triviaal, vnl module-naming in config files.

Steven Ottens
@stvno
ja dat lijkt me logisch
We willen het verdockeren wel trekken, samen met GeoGap

en een ander vraagje: is het een idee om een nlextract/docker project op github te maken voor een docker-versie?

Ook goed idee, idd in apart project. Ook hier: BAG vs De Rest. Er is een Stetl Docker image. Stetl is echter alleen nog Py3. Dus eerst nlextract/NLExtract#276. Py3 voor de Stetl-based is redelijk triviaal, vnl module-naming in config files.

Ik heb net @fsteggink gemaild voor toegang tot de nlextract github group en een docker project daar

vandaar graag een github.com/nlextract/docker project dan kan de rest van de community er ook bij/mee werken
Just van den Broecke
@justb4
ok, misschien is dit een aardig voorbeeld/conventie, voor Stetl: meerdere ETL processen in 1 Docker image: https://github.com/smartemission/docker-se-stetl werkte in praktijk en nog steeds erg goed, ook in Kubernetes.
Steven Ottens
@stvno
thanks
Steven Ottens
@stvno
nog een organisatorisch vraagje: je wilde #276 na de 1.4 release doen. Wie/wat moet er gebeuren voor de 1.4 release?
Just van den Broecke
@justb4
Niet veel, vnl https://github.com/nlextract/NLExtract/blob/master/make-distro.sh draaien, wat versie docu en Release op GH aanmaken en distro uploaden. Kan ik nu wel even doen. Als iemand de distro wil checken..
stvno @stvno heeft lokaal make-distro.sh gedraaid
Just van den Broecke
@justb4
distro plm 20MB. helft daarvan oude Kadaster-docs Top10NL...v1.0 en v1.1 (huidig is 1.2), maar weghalen denk ik.
Steven Ottens
@stvno
yep
net de top1000 gedraaid van distro en dat loopt zonder problemen
Just van den Broecke
@justb4
ok, distro nu 16MB, ga neerzetten. Kunnen altijd "point" releases doen indien problemen.
Steven Ottens
@stvno
:+1:
Just van den Broecke
@justb4
Ok, done. Dus mensen: nieuwe release 1.4.0 NLExtract nu beschikbaar: zie https://github.com/nlextract/NLExtract/releases/tag/v1.4.0.
Steven Ottens
@stvno
gedownload en getest met top500: :+1:
#276 maar mergen in master?
Just van den Broecke
@justb4
Is al gebeurd! Wat gaat die NLExtract ontwikkeling ineens hard :smile:
Steven Ottens
@stvno
Ja dat krijg je als je ontwikkelaars dwingt om met NLextract te werken :grinning:
Hèlen Grives
@mesmoiron
Goeiemorgen, sinds twee dagen probeer ik wegwijs te worden uit BAG en nu dus ook NLextract😂. Ik ben beginnend programmeur - meer nog een eindgebruiker die een eigen vastgoedplatform wil maken. Vanuit dit perspectief ben ik blij met NLextract maar mis ik ook nog eindgebruiker informatie. Met het downloaden dacht ik dus adressen te downloaden die ik via XML kon inlezen. Dat bleek dus niet zo te zijn.
ik probeer nu de juiste workflow te achterhalen. Ik werk namelijk niet dagelijks met geo-databases. 🤔 mijn mvp maak ik met wordpress.
Just van den Broecke
@justb4
@mesmoiron er is documentatie: https://docs.nlextract.nl/en/latest/index.html heb je die al gezien? NLExtract is gemaakt met Python, behoorlijk geavanceerd en je hebt een PostGIS database nodig. (Installatie) zal lastig zijn als je beginnend programmeur bent, maar neem het stap voor stap. Ik kan uit je tekst niet goed achterhalen wat je precies wilt (bijv "..het downloaden" data van Kadaster, NLExtract software?). Als je alleen BAG-CBS adressen in CSV nodig hebt, kun je die ook via https://geotoko.nl downloaden (helaas wel betaald), dan heb je NLExtract software niet nodig en kun je op je eigen product focussen. Het maken van een "vastgoedplatform" lijkt mij al enorme uitdaging.
Hèlen Grives
@mesmoiron
@justb4 op Windows draait postgis ik heb wel iets gedaan met GrassGis. Het verschil is me nog niet duidelijk. Op Ubuntu heb ik nog niet alles werkend gekregen. Uiteindelijk wil ik een bestand hebben met gewone adressen, met extra informatie bv bewoond onbewoond en foto van de locatie dmv Google streetview. Het bestand moet eventueel door een ander programma geconverteerd worden op een manier dat het geïmporteerd kan worden ivia XML of csv. Het is me nog niet helemaal duidelijk wat ik met NLextract kan doen. Wat de output formaten zijn. Bijv shapediles. Met andere woorden moet ik de gis database of een ander programma gebruiken om de uitput in een menselijk leesbaar formaat te krijgen inclusief longitude latitude coördinaten. Zoiets in lekentaal.
Just van den Broecke
@justb4
@mesmoiron een aantal van je vragen staan beantwoord in de documentatie: https://docs.nlextract.nl/en/latest/bagextract.html heb je die al bekeken? oa "...het inlezen en verrijken van Kadaster BAG (Basisregistratie Adressen en Gebouwen) GML leveringen in (voorlopig) een Postgres/Postgis database.". PostGIS (Vergeet GRASS GIS voor nu) zou centraal moeten zijn, en zou Ubuntu gebruiken. Vanuit PostGIS kun je naar allerlei andere formaten: XML, CSV en zelfs ShapeFiles...Vragen over PostGIS en GIS algemeen kun je beste stellen op het GeoForum.nl.
ErikHeeres
@ErikHeeres
Hoi allemaal! Als eerste natuurlijk ontzettend bedankt voor het werk dat jullie doen. Gisteren voor het eerst aan de gang gegaan met de code ipv de dumps en het werkte vrij soepel (nadat ik de code vanuit een docker draaide ipv lokaal). Vraagje; Hoe gaat het updaten van de BAG in zijn werk? Is dat een kwestie van de inspireadressen.zip (via atomfeed) opnieuw downloaden en dan weer bagextract.py -e inspireadressen.zip draaien of is er een mutatiebestand nodig oid?
Steven Ottens
@stvno
Momenteel is het inderdaad een kwestie van opnieuw downloadden en bagextract draaien. Effectief dus een volledige drop and replace en geen update (als in dat je weet wat er veranderd is)
ErikHeeres
@ErikHeeres
Oke duidelijk! Bedankt
Just van den Broecke
@justb4
Beste Mensen, denk dat BRK-DKK v3 levering definitief gestopt is bij PDOK en we over moeten naar v4, met ook bijkomende voordelen als dagelijkse actualiteit: https://geoforum.nl/t/webservices-kadastrale-kaart-v3-worden-beeindigd/3853. Is er al iemand toevallig bezig met: nlextract/NLExtract#272 ?
Just van den Broecke
@justb4
Ik hoor vaak "CSV BAG bestand opent niet in EXCEL". Ben geen Excel kenner. Met plm 10 miljoen adressen en 22 kolommen (BAG Full) lijkt mij dit ook lastig in welk spreadsheet dan ook. Of betaan er truucs voor, bijv opsplitsen (per gemeente/provincie) in tabbladen?
Pander
@PanderMusubi
LibreOffice Calc heeft er ook een flinke uitdaging aan. Die geeft de foutmelding "The data could not be loaded completely because the maximum number of rows per sheet was exceeded.", maar laadt wel 1048576 van de 9064174 regels. Dus waarschijnlijk is ook het opsplitst aanbieden per provincie een uitkomst voor veel mensen.
Moet hiervoor een issue voor worden aangemaakt?
Just van den Broecke
@justb4
ja doe maar, een andere optie is mogelijk op postcode 1000-tallen, krijg je 10 bestanden of wie-weet op gemeenten. Zou leuk zijn als iemand via tooling daar 1 Excel bestand met N tabbladen van kan genereren. Er bestaat toch een open Excel (XML?) formaat?
Pander
@PanderMusubi
Ik test wel even of opdelen op provincies werkt voor Excel en Calc en maak daarna een issue aan. Lijkt me toch de meest makkelijke manier, anders moeten mensen weer tabbladen gaan combineren. Lijkt me ook dat de meeste mensen die dit in Excel willen gebruiken we verder zo min mogelijk met extra technische vaardigheden moeten belasten.
Reinier Sterkenburg
@ReinierNL
Ik wilde ook maar eens proberen of ik met behulp van de source code de DKK naar PostGIS om kon zetten. Begreep dat het voor de DKK 'gewoon' met stetl zou moeten kunnen.
Ik wilde proberen dat op Windows met Python 3 te doen en ben wel een eindje gekomen maar het is nog niet helemaal gelukt. Ik wilde in ieder geval even delen wat er wèl gelukt is en misschien kan er door iemand op voortgeborduurd worden.
Het eerste waar ik tegenaan liep was dat de code nog gedeeltelijk Python2 syntax gebruikte. Klassiek: print statements zonder haakjes. Exceptions met komma in plaats van 'as'.
Tevens een paar packages met een andere naam (io vs StringIO; configparser) c.q. die nog extra met pip geïnstalleerd moesten worden.
Verder moest ik nog even ontdekken dat je (in Windows) niet gewoon stetl moet (kunt) runnen maar dat je vanuit python de main.py van stetl moet runnen (in de juiste folder en met de config file als parameter). So far so good en ik kan nu vanuit PyCharm in ieder geval een debug run starten.
Hij loopt dan vast als-ie dmv factory.py instances van classes moet gaan creëren. Ik begrijp niet zo goed waarom dat mis gaat, want de packages/modules (i.c. inputs) waar die klasses in gedefinieerd zijn zouden vindbaar moeten zijn dacht ik. maar goed. hier loop ik nu even vast.
Hulp is welkom (maar ik reken nergens op).
Wil iemand mijn wijzigingen om stetl met python3 aan de praat te krijgen nog hebben? (in welke vorm?)
Just van den Broecke
@justb4
@ReinierNL je kunt altijd aan de documentatie bijdragen via NLExtract GitHub PRs. Ik kan je niet met Windows-specifieke zaken helpen, ken het niet. Denk dat het beter is om dan met Docker te werken. Python met vooral "native" afhankelijkheden via GDAL en lxml lijkt mij een uitdaging op Windows. Op Mac OSX en Linux is het werken met Open Source (Geo) software in het algemeen een stuk comfortabeler...
Pander
@PanderMusubi

@justb4 dit zijn de resultaten van testen met LibreOffice Calc, verwacht met MS Excel meer problemen. https://ethercalc.org/9sei51apa8id

Oplossing die we voor ogen hadden is dus helaas niet mogelijk.

Misschien wil iemand er een MS Access database van maken :laughing:
En zonder grapje, we kunnen het ook als een Sqlite database aanbieden.
Just van den Broecke
@justb4
@PanderMusubi bedankt voor uitzoeken. Denk dat die laatste optie een goede is: denk dan zelfs als GeoPackage. We moeten verder mensen denk ik "opvoeden" om geen spreadsheets voor dit soort megadata te gebruiken. Inladen is 1 ding maar zie niet voor me hoe allerlei bewerkingen kunnen worden uitgevoerd.
Pander
@PanderMusubi
Inderdaad. Al wil ik wel OpenStreetMap van heel de wereld downloaden, in Word openen en met Ctrl+F zoeken naar de dichtstbijzijnde parkeerplaats.
Just van den Broecke
@justb4
:smile:
Reinier Sterkenburg
@ReinierNL
Even terugkomend op mijn berichtje van afgelopen woensdag:
Het is me inmiddels gelukt om de DKK naar PostGIS om te zetten, met Python3 onder Windows.
Het probleem zat in de versie van stetl.
Om een of andere reden wordt een oude versie (1.2) van stetl uitgecheckt bij het clonen.
Ik heb nu versie 2.0 (althans, de master branch) uitgecheckt en die werkte eigenlijk meteen probleemloos.
Just van den Broecke
@justb4
@ReinierNL ja de Python3 upgrade was m.i. alleen voor de BAG. De overige ETLs zijn op Stetl gebaseerd. Daarvoor moet o.a. de git-submodule externals/stetl updaten ook in GitHub, inderdaad naar Stetl v2.0 omdat deze Python3 ondersteunt. Ik denk/weet dat er daarnaast nog meer wijzigingen nodig zijn, zoals hier beschreven, o.a. het specificeren van Stetl Classes in de config (daar moet stetl. voor). Dan is er ook nog Python code in NLExtract die o.a. voor BGT gebruikt wordt (subfeaturehandler.py bijv). Plus denk ik dat je het nu voor BRK-DKK v3 werkend hebt, die wordt niet meer geleverd, alleen nog v4, is weer heel nieuw verhaal met oa. BGT features. Maar als je vast een PR kan doen graag!