Ben aardig onderlegd in Python, dus zou kunnen bijdragen in code, documentatie, tests, testconfiguraties etc. etc.
dat zou alleen maar goed voor het project zijn :D. Bedenk dat ik "de mededeling" hier nog niet gedaan heb, ging er vanuit dat iedereen op de lijst staat en de meesten 'inhouse' NLExtracten. Ik geef de link hier naar de post: https://groups.google.com/forum/#!msg/nlextract/XE0J-ZfQ6yo/vMdNvVvfAwAJ. Liever reactie op mailing lijst. Deze Gitter is vooral voor ontwikkeling bedoeld, staat los van data downloads. Hulp bij inlezen bestanden via helpdesk: https://geotoko.freshdesk.com/ of support@geotoko.nl of we kunnen aparte Gitter opzetten.
Is er eigenlijk al nagedacht over/werk gestopt in het paralleliseren van NLExtract?
Moeten onderscheid maken BAG (expliciete code) en "De Rest", BGT, BRT, BRK (via Stetl): voor BAG: nlextract/NLExtract#126 en voor Stetl: geopython/stetl#41 . Wel nagedacht, geen expliciete aktie. Denk zelf dat beste zou zijn eerst BAG naar Stetl te brengen en daar parallelliseren.
en een ander vraagje: is het een idee om een nlextract/docker project op github te maken voor een docker-versie?
Ook goed idee, idd in apart project. Ook hier: BAG vs De Rest. Er is een Stetl Docker image. Stetl is echter alleen nog Py3. Dus eerst nlextract/NLExtract#276. Py3 voor de Stetl-based is redelijk triviaal, vnl module-naming in config files.
We willen het verdockeren wel trekken, samen met GeoGap
en een ander vraagje: is het een idee om een nlextract/docker project op github te maken voor een docker-versie?
Ook goed idee, idd in apart project. Ook hier: BAG vs De Rest. Er is een Stetl Docker image. Stetl is echter alleen nog Py3. Dus eerst nlextract/NLExtract#276. Py3 voor de Stetl-based is redelijk triviaal, vnl module-naming in config files.
Ik heb net @fsteggink gemaild voor toegang tot de nlextract github group en een docker project daar
vandaar graag een github.com/nlextract/docker project dan kan de rest van de community er ook bij/mee werken
ok, misschien is dit een aardig voorbeeld/conventie, voor Stetl: meerdere ETL processen in 1 Docker image: https://github.com/smartemission/docker-se-stetl werkte in praktijk en nog steeds erg goed, ook in Kubernetes.
nog een organisatorisch vraagje: je wilde #276 na de 1.4 release doen. Wie/wat moet er gebeuren voor de 1.4 release?
Niet veel, vnl https://github.com/nlextract/NLExtract/blob/master/make-distro.sh draaien, wat versie docu en Release op GH aanmaken en distro uploaden. Kan ik nu wel even doen. Als iemand de distro wil checken..
stvno @stvno heeft lokaal make-distro.sh gedraaid
net de top1000 gedraaid van distro en dat loopt zonder problemen
Ok, done. Dus mensen: nieuwe release 1.4.0 NLExtract nu beschikbaar: zie https://github.com/nlextract/NLExtract/releases/tag/v1.4.0.
#276 maar mergen in master?
Goeiemorgen, sinds twee dagen probeer ik wegwijs te worden uit BAG en nu dus ook NLextract😂. Ik ben beginnend programmeur - meer nog een eindgebruiker die een eigen vastgoedplatform wil maken. Vanuit dit perspectief ben ik blij met NLextract maar mis ik ook nog eindgebruiker informatie. Met het downloaden dacht ik dus adressen te downloaden die ik via XML kon inlezen. Dat bleek dus niet zo te zijn.
ik probeer nu de juiste workflow te achterhalen. Ik werk namelijk niet dagelijks met geo-databases. 🤔 mijn mvp maak ik met wordpress.
ik probeer nu de juiste workflow te achterhalen. Ik werk namelijk niet dagelijks met geo-databases. 🤔 mijn mvp maak ik met wordpress.
@mesmoiron er is documentatie: https://docs.nlextract.nl/en/latest/index.html heb je die al gezien? NLExtract is gemaakt met Python, behoorlijk geavanceerd en je hebt een PostGIS database nodig. (Installatie) zal lastig zijn als je beginnend programmeur bent, maar neem het stap voor stap. Ik kan uit je tekst niet goed achterhalen wat je precies wilt (bijv "..het downloaden" data van Kadaster, NLExtract software?). Als je alleen BAG-CBS adressen in CSV nodig hebt, kun je die ook via https://geotoko.nl downloaden (helaas wel betaald), dan heb je NLExtract software niet nodig en kun je op je eigen product focussen. Het maken van een "vastgoedplatform" lijkt mij al enorme uitdaging.
@justb4 op Windows draait postgis ik heb wel iets gedaan met GrassGis. Het verschil is me nog niet duidelijk. Op Ubuntu heb ik nog niet alles werkend gekregen. Uiteindelijk wil ik een bestand hebben met gewone adressen, met extra informatie bv bewoond onbewoond en foto van de locatie dmv Google streetview. Het bestand moet eventueel door een ander programma geconverteerd worden op een manier dat het geïmporteerd kan worden ivia XML of csv. Het is me nog niet helemaal duidelijk wat ik met NLextract kan doen. Wat de output formaten zijn. Bijv shapediles. Met andere woorden moet ik de gis database of een ander programma gebruiken om de uitput in een menselijk leesbaar formaat te krijgen inclusief longitude latitude coördinaten. Zoiets in lekentaal.
@mesmoiron een aantal van je vragen staan beantwoord in de documentatie: https://docs.nlextract.nl/en/latest/bagextract.html heb je die al bekeken? oa "...het inlezen en verrijken van Kadaster BAG (Basisregistratie Adressen en Gebouwen) GML leveringen in (voorlopig) een Postgres/Postgis database.". PostGIS (Vergeet GRASS GIS voor nu) zou centraal moeten zijn, en zou Ubuntu gebruiken. Vanuit PostGIS kun je naar allerlei andere formaten: XML, CSV en zelfs ShapeFiles...Vragen over PostGIS en GIS algemeen kun je beste stellen op het GeoForum.nl.
Hoi allemaal! Als eerste natuurlijk ontzettend bedankt voor het werk dat jullie doen. Gisteren voor het eerst aan de gang gegaan met de code ipv de dumps en het werkte vrij soepel (nadat ik de code vanuit een docker draaide ipv lokaal). Vraagje; Hoe gaat het updaten van de BAG in zijn werk? Is dat een kwestie van de inspireadressen.zip (via atomfeed) opnieuw downloaden en dan weer bagextract.py -e inspireadressen.zip draaien of is er een mutatiebestand nodig oid?
Beste Mensen, denk dat BRK-DKK v3 levering definitief gestopt is bij PDOK en we over moeten naar v4, met ook bijkomende voordelen als dagelijkse actualiteit: https://geoforum.nl/t/webservices-kadastrale-kaart-v3-worden-beeindigd/3853. Is er al iemand toevallig bezig met: nlextract/NLExtract#272 ?
LibreOffice Calc heeft er ook een flinke uitdaging aan. Die geeft de foutmelding "The data could not be loaded completely because the maximum number of rows per sheet was exceeded.", maar laadt wel 1048576 van de 9064174 regels. Dus waarschijnlijk is ook het opsplitst aanbieden per provincie een uitkomst voor veel mensen.
Moet hiervoor een issue voor worden aangemaakt?
Ik test wel even of opdelen op provincies werkt voor Excel en Calc en maak daarna een issue aan. Lijkt me toch de meest makkelijke manier, anders moeten mensen weer tabbladen gaan combineren. Lijkt me ook dat de meeste mensen die dit in Excel willen gebruiken we verder zo min mogelijk met extra technische vaardigheden moeten belasten.
Ik wilde ook maar eens proberen of ik met behulp van de source code de DKK naar PostGIS om kon zetten. Begreep dat het voor de DKK 'gewoon' met stetl zou moeten kunnen.
Ik wilde proberen dat op Windows met Python 3 te doen en ben wel een eindje gekomen maar het is nog niet helemaal gelukt. Ik wilde in ieder geval even delen wat er wèl gelukt is en misschien kan er door iemand op voortgeborduurd worden.
Het eerste waar ik tegenaan liep was dat de code nog gedeeltelijk Python2 syntax gebruikte. Klassiek: print statements zonder haakjes. Exceptions met komma in plaats van 'as'.
Tevens een paar packages met een andere naam (io vs StringIO; configparser) c.q. die nog extra met pip geïnstalleerd moesten worden.
Verder moest ik nog even ontdekken dat je (in Windows) niet gewoon stetl moet (kunt) runnen maar dat je vanuit python de main.py van stetl moet runnen (in de juiste folder en met de config file als parameter). So far so good en ik kan nu vanuit PyCharm in ieder geval een debug run starten.
Hij loopt dan vast als-ie dmv factory.py instances van classes moet gaan creëren. Ik begrijp niet zo goed waarom dat mis gaat, want de packages/modules (i.c. inputs) waar die klasses in gedefinieerd zijn zouden vindbaar moeten zijn dacht ik. maar goed. hier loop ik nu even vast.
Hulp is welkom (maar ik reken nergens op).
Wil iemand mijn wijzigingen om stetl met python3 aan de praat te krijgen nog hebben? (in welke vorm?)
Ik wilde proberen dat op Windows met Python 3 te doen en ben wel een eindje gekomen maar het is nog niet helemaal gelukt. Ik wilde in ieder geval even delen wat er wèl gelukt is en misschien kan er door iemand op voortgeborduurd worden.
Het eerste waar ik tegenaan liep was dat de code nog gedeeltelijk Python2 syntax gebruikte. Klassiek: print statements zonder haakjes. Exceptions met komma in plaats van 'as'.
Tevens een paar packages met een andere naam (io vs StringIO; configparser) c.q. die nog extra met pip geïnstalleerd moesten worden.
Verder moest ik nog even ontdekken dat je (in Windows) niet gewoon stetl moet (kunt) runnen maar dat je vanuit python de main.py van stetl moet runnen (in de juiste folder en met de config file als parameter). So far so good en ik kan nu vanuit PyCharm in ieder geval een debug run starten.
Hij loopt dan vast als-ie dmv factory.py instances van classes moet gaan creëren. Ik begrijp niet zo goed waarom dat mis gaat, want de packages/modules (i.c. inputs) waar die klasses in gedefinieerd zijn zouden vindbaar moeten zijn dacht ik. maar goed. hier loop ik nu even vast.
Hulp is welkom (maar ik reken nergens op).
Wil iemand mijn wijzigingen om stetl met python3 aan de praat te krijgen nog hebben? (in welke vorm?)
@ReinierNL je kunt altijd aan de documentatie bijdragen via NLExtract GitHub PRs. Ik kan je niet met Windows-specifieke zaken helpen, ken het niet. Denk dat het beter is om dan met Docker te werken. Python met vooral "native" afhankelijkheden via GDAL en lxml lijkt mij een uitdaging op Windows. Op Mac OSX en Linux is het werken met Open Source (Geo) software in het algemeen een stuk comfortabeler...
@justb4 dit zijn de resultaten van testen met LibreOffice Calc, verwacht met MS Excel meer problemen. https://ethercalc.org/9sei51apa8id
Oplossing die we voor ogen hadden is dus helaas niet mogelijk.
Misschien wil iemand er een MS Access database van maken :laughing:
En zonder grapje, we kunnen het ook als een Sqlite database aanbieden.
@PanderMusubi bedankt voor uitzoeken. Denk dat die laatste optie een goede is: denk dan zelfs als GeoPackage. We moeten verder mensen denk ik "opvoeden" om geen spreadsheets voor dit soort megadata te gebruiken. Inladen is 1 ding maar zie niet voor me hoe allerlei bewerkingen kunnen worden uitgevoerd.
Even terugkomend op mijn berichtje van afgelopen woensdag:
Het is me inmiddels gelukt om de DKK naar PostGIS om te zetten, met Python3 onder Windows.
Het probleem zat in de versie van stetl.
Om een of andere reden wordt een oude versie (1.2) van stetl uitgecheckt bij het clonen.
Ik heb nu versie 2.0 (althans, de master branch) uitgecheckt en die werkte eigenlijk meteen probleemloos.
Het is me inmiddels gelukt om de DKK naar PostGIS om te zetten, met Python3 onder Windows.
Het probleem zat in de versie van stetl.
Om een of andere reden wordt een oude versie (1.2) van stetl uitgecheckt bij het clonen.
Ik heb nu versie 2.0 (althans, de master branch) uitgecheckt en die werkte eigenlijk meteen probleemloos.
@ReinierNL ja de Python3 upgrade was m.i. alleen voor de BAG. De overige ETLs zijn op Stetl gebaseerd. Daarvoor moet o.a. de git-submodule
externals/stetl updaten ook in GitHub, inderdaad naar Stetl v2.0 omdat deze Python3 ondersteunt. Ik denk/weet dat er daarnaast nog meer wijzigingen nodig zijn, zoals hier beschreven, o.a. het specificeren van Stetl Classes in de config (daar moet stetl. voor). Dan is er ook nog Python code in NLExtract die o.a. voor BGT gebruikt wordt (subfeaturehandler.py bijv). Plus denk ik dat je het nu voor BRK-DKK v3 werkend hebt, die wordt niet meer geleverd, alleen nog v4, is weer heel nieuw verhaal met oa. BGT features. Maar als je vast een PR kan doen graag!