Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Repo info
Activity
  • Sep 18 19:38
    borrob commented #265
  • Sep 18 11:34
    botenvouwer commented #265
  • Sep 17 19:10
    borrob commented #265
  • Sep 17 12:57
    botenvouwer commented #265
  • Sep 05 12:25
    justb4 commented #271
  • Sep 05 11:01
    FrieseWoudloper opened #271
  • Aug 07 12:19
    tino closed #270
  • Aug 07 12:19
    tino commented #270
  • Aug 02 12:25
    fsteggink commented #265
  • Aug 02 09:55
    justb4 commented #257
  • Jul 30 09:35
    fsteggink commented #270
  • Jul 30 09:32
    fsteggink commented #270
  • Jul 30 09:17
    tino opened #270
  • Jul 29 11:24
    jhpoosthoek opened #269
  • Jul 23 08:37
    justb4 commented #265
  • Jul 22 20:40
    borrob commented #265
  • Jul 22 19:33
    PanderMusubi commented #248
  • Jul 22 19:28
    PanderMusubi commented #247
  • Jul 22 10:56
    fsteggink closed #247
  • Jul 22 10:56
    fsteggink commented #247
citycreative
@citycreative
ok, thanks I will try that. I was hoping my LandXML plugin would work but alas it did not. I have never worked with postGIS. Any tips?
citycreative
@citycreative
I read the 'read me'text but still feel a bit lost with it.
Just van den Broecke
@justb4
citycreative
@citycreative
@justb4 Thank you for the instructions. I made it quite far, but at the PgAdmin III - BAG dump restore'' section, when I try to 'restore' I get the following error 'Please configure the PostgreSQL Binary Path in the Preferences dialog.' Any advice?
citycreative
@citycreative
@justb4 nevermind, I googled it and found the answer!
Just van den Broecke
@justb4
@citycreative top!
citycreative
@citycreative
@justb4 I followed the instructions and started the restore but it has failed twice. Is there any way I can find out why it failed and how to fix it?
Just van den Broecke
@justb4
@citycreative this question has been asked many time: please post it on our forum: https://groups.google.com/forum/#!forum/nlextract with failure details.
Pander
@PanderMusubi

Hallo allemaal, ik neem aan dat ik hier in het Nederlands een vraag kan stellen. Tijdens de laatste hackathon ben ik gestart met het ontwikkelen van een Python-script dat over de spelling van toponiemen rapporteert. Nu heb ik een Python-vraagje. Wie heeft er ervaring met itereren over items uit een dict die op twee waarden gesorteerd moeten worden. De toepassing is het maken van een tabel met een histogram van bijvoorbeeld straatnamen. Eerste sortering op de telling (hier de value) en tweede sortering op de waarde (hier de key).

Ik zal mijn vraag in drie delen opdelen, want het is nogal een puzzel. Momenteel gebruik ik bijvoorbeeld:

from operator import itemgetter
histogram = {}
histogram['Stationstraat'] = 2
histogram['Dorpstraat'] = 2
histogram['Spoordijk'] = 1
for value, count in sorted(histogram.items(), key=itemgetter(1), reverse=True):
print(count, value)

en dat geeft:

2 Stationstraat
2 Dorpstraat
1 Spoordijk

Hoe krijg ik hier Dorpstraat boven Stationstraat? (Liefst zonder alles eerst in een andere datastructuur te zetten. Ik vermoed dat gebruik van lambda nodig is.) Iemand een idee?

Raymond Nijssen
@raymondnijssen
Hoi Pander, ik lees je vraag nu pas en ik weet niet of het nog relevant is. Eigenlijk wil je iets met een dict doen waar je een list voor zou moeten hebben. Ik vrees dat je dus toch moet converteren. Maar aangezien we het over de BAG hebben, die openbareruimtenamen komen toch uit de database? Kun je daar je lijstje niet gewoon gesorteerd opvragen?
SELECT 
  count(*) AS count,
  openbareruimtenaam 
FROM bagactueel.openbareruimteactueelbestaand 
WHERE openbareruimtetype = 'Weg'
GROUP BY openbareruimtenaam
ORDER BY count(*) DESC, openbareruimtenaam ASC
Raymond Nijssen
@raymondnijssen
Of anders zo in python:
Raymond Nijssen
@raymondnijssen
for value, count in sorted(sorted(histogram.items(), key=itemgetter(0)), key=itemgetter(1), reverse=True): print(count, value)
Pander
@PanderMusubi

Raymond, dank voor je antwoord. De vraag is nog steeds relevant. Ik heb inmiddels ergens een oplossing gevonden maar nog niet uitgewerkt en getest. Was wel enorm zoeken. Vooral omdat ik key wil gebruiken voor itemgetter en voor localized sorting en nog een tweede sortering, allemaal in een sort, liefst zonder lambda.

Ik werk hier alleen op de bestaande export van adressen om het beheersbaar te houden. Binnenkort zal ik de toponiemenrapporten via een PR aanbieden.

Raymond Nijssen
@raymondnijssen
Maar de oplossingen van mij zijn niet bruikbaar? Wat bedoel je met een export van adressen?
Rob van Dort
@rob_van_dort_twitter
Is er al iets van een BAG update service beschikbaar of in de maak? Bestanden met alleen bijv. de dagelijkse delta's?
Just van den Broecke
@justb4
Hoi @rob_van_dort_twitter , dagelijkse delta's (mutatie-bestanden) in BAG Bron-formaat worden door Kadaster (via Logius) geleverd: https://zakelijk.kadaster.nl/-/bag-digilevering . NLExtract is wel in staat dagelijkse BAG-mutatie-bestanden in te lezen. Of bedoel je met update bestanden dat bijv NLExtract dagelijks een SQL-bestand met mutaties levert die op een bestaande PostGIS BAG database kan worden toegepast? Zou mooie uitbreiding zijn.
Rob van Dort
@rob_van_dort_twitter
Hallo Just. Ja, ik bedoel idd een update service via NLExtract. Die is er nog niet begrijp ik uit jouw woorden...
Just van den Broecke
@justb4
Wat verwacht je van zo'n service: welke (delta) bestands-typen en hoe zou je die verwerken?
(i.e. bedoel je de "SQL" delta's?)
Rob van Dort
@rob_van_dort_twitter
Hallo Just, ik had een reply gestuurd via je justobjects mailadres. Heb je die gezien?
Sicco van Sas
@siccovansas
Ik kan BAG Nummeraanduiding ID 0361200000200196 niet terugvinden in de NL Extract BAG van maart (geen idee of deze er eerder ook niet in zat). Heeft iemand een idee waarom deze er niet in zit?
https://bagviewer.kadaster.nl/lvbag/bag-viewer/#?searchQuery=0361200000200196&resultOffset=0&detailsObjectId=0361010000200186&objectId=0361200000200196&geometry.x=111412.981&geometry.y=515170.314&zoomlevel=6
Just van den Broecke
@justb4
Wat ik zie is dat de Nummeraanduiding ID 0361200000200196 wel in de NLExtract Dump maart 2019 nummeraanduiding tabel zit, maar geen postcode heeft. Daardoor wordt deze niet verder meegenomen in de VIEWS bijv nummeraanduidingactueelbestaanden adres tabellen.
Sicco van Sas
@siccovansas
Aah, ik zie inderdaad dat er geen postcode is. Wel gek dat dat kan. Maar ja er zijn vast meer gekke edge cases te vinden :) Thx voor de opheldering!
Sicco van Sas
@siccovansas
@justb4 Zou het echter niet alsnog handig zijn om het nummeraanduiding ID en de bijbehorende adresgegevens in NL Extract BAG op te nemen ook al zit er geen postcode bij?
Sicco van Sas
@siccovansas

Er lijkt iets fout gegaan te zijn bij de maandelijkse BAG release?

Als je op https://data.nlextract.nl/bag/csv/ kijkt is bag-adressen-full-laatst.csv.zip slechts 184 bytes en bag-adressen-laatst.csv.zip maar 174 bytes in plaats van respectievelijk 334MB en 245MB.

Mijn automatische updater is daar jammer genoeg op kapot gegaan waardoor mijn BAG database nu leeg is en mijn gebruikers problemen ervaren. Ik ga wat betere checks inbouwen :), maar aan de kant van NLExtract hoort dit ook niet te kunnen gebeuren lijkt me?

Just van den Broecke
@justb4
@siccovansas @/all er is idd iets misgegaan bij laatste (2019_04_08 april 2019 BAG) NLExtract BAG cronjob, lijkt erop dat er teveel processen tegelijk liepen, ook net de BRK Dump bijv. Nu even handmatig opgestart, wel even geduld nog.
Sicco van Sas
@siccovansas
Top! Ik heb mijn eigen database inmiddels handmatig bijgewerkt, maar goed om te horen dat het gefixed wordt :)
Django Eijgensteijn
@django23
Beste allemaal, ik ben op zoek naar een overzicht van alle postcodes (4cijfers) met hun grenzen, zodat ik deze op een kaart kan tonen. Het liefst in SQL. Hebben jullie een idee of deze dataset bestaat, en/of deze te maken valt via al het werk wat NLExctract ons aanbied?
Just van den Broecke
@justb4
@django23 grappig, we zijn net aan het kijken om die in NLExtract te integreren i.s.m. maker/aanbieder @raymondnijssen van TerGlobo, zie ook http://terglobo.nl/postcodekaart.html
Django Eijgensteijn
@django23
@justb4 interessant. Ik ben al wat verder gekomen, maar heb het nog niet werkend.
Succes met het integreren in ieder geval!
Just van den Broecke
@justb4
Met "PostGIS" en "Voronoi" kan veel, zie ook bijv: https://longair.net/blog/2017/07/10/approximate-postcode-boundaries/
Bas Hendrikse
@Bash-
Hallo NLExtract community, heeft iemand hier ervaring met het overbrengen van het NWB naar een PostgreSQL met PostGIS? Ideale situatie zou zijn dat de database automatisch geüpdate wordt bij een nieuwe versie
Just van den Broecke
@justb4
@Bash- kun je de vraag iets specifieker maken? "NWB" is brede term en zie dat verschillende bestanden en formaten worden aangeboden: bij RWS en via PDOK. Welke bestanden precies en welke formaten? ESRI Shapefiles zijn eenvoudig met GDAL/OGR ogr2ogr in te lezen.
Bas Hendrikse
@Bash-
@justb4 bedankt voor je antwoord. Ik zou graag gebruik willen maken van "Wegen wegvakken" via PDOK, waarbij ik het in een PostGIS database opsla met projectie EPSG:3857. Als er een nieuwe versie wordt gepubliceerd zou ik het liefste deze zonder handmatig werk willen ophalen. Ik heb gezien dat er via ATOM, WFS en WMS gebruikt gemaakt kan worden, ik ben hier nog redelijk onbekend mee, dus ben benieuwd of jij weet welke source het meest geschikt is.
Inmiddels ook wat wijzer geworden. Ik voer nu dit commando uit en dat lijkt te werken (de count werkt alleen niet), weet jij of dit een geschikte oplossing is?
ogr2ogr -lco GEOMETRY_NAME=geom -overwrite -f "PostgreSQL" -a_srs EPSG:3857 PG:"dbname=gisdb user=[USER] password=[PASSWORD] host=localhost" -nln public.gistable "WFS:https://geodata.nationaalgeoregister.nl/nwbwegen/wfs?&service=WFS&version=2.0.0&request=GetFeature&typeNames=nwbwegen:wegvakken&count=10&startIndex=0"
Just van den Broecke
@justb4
via WMS krijg je alleen plaatjes en via WFS zit beperking aantal objecten dat je terugkrijgt. Via ATOM is meest logisch, daar zit ook metadata in die versie/datum aangeeft. Als je de http://geodata.nationaalgeoregister.nl/nwbwegen/extract/nwbwegen.zip file uit de Atom download en uitpakt moet je via ogr2ogr het Shapefile bestand nwb-wegen/geogegevens/shapefile/nederland_totaal/Wegvakken/Wegvakken.shp. COmmando wordt dan iets als: ogr2ogr -lco GEOMETRY_NAME=geom -overwrite -f "PostgreSQL" -s_srs EPSG:28992 -t_srs EPSG:3857 PG:"dbname=gisdb user=[USER] password=[PASSWORD] host=localhost" Wegvakken.shp -nln public.gistable om ook de geo-transformatie te doen.
Bas Hendrikse
@Bash-
Duidelijk, bedankt voor je hulp!
Bas van der Heijden
@basvdheijden

Hallo! Ik heb een vraag over de data die ik zie in de CSV download op: https://data.nlextract.nl/bag/csv/bag-adressen-laatst.csv.zip.
Het gaat hierbij om de precieze schrijfwijze van de gemeenten. Een voorbeeld:
Hierin wordt gebruikgemaakt van schrijfwijze Bergen (NH.) met punt achter NH. Echter als ik de BAG viewer van het kadaster raadpleeg, zie ik een andere schrijfwijze: Bergen (NH) zonder punt achter NH. Dit kun je zien onder het kopje 'Bronhouder' bij: https://bagviewer.kadaster.nl/lvbag/bag-viewer/index.html#?searchQuery=bergen&resultOffset=0&objectId=3047&geometry.x=108059.332&geometry.y=519863.726&zoomlevel=2&detailsObjectId=3047

Kunnen jullie hier licht op schijnen? Als het goed is zou deze data toch uit dezelfde bron putten en dus een verschil in schrijfwijze niet mogelijk moeten zijn?

Bas van der Heijden
@basvdheijden
Achterliggend probleem hierbij is dat ik gebruikmaak van de CSV file voor het herkennen van Nederlandse gemeentenamen. Een partij waarmee ik samenwerk gebruikt ook de BAG data, maar een andere bron (dan die CSV klaarblijkelijk). Nu krijg ik van hen gemeentenamen die niet matchen met mijn systeem. Bergen (NH.) is hier een voorbeeld van. Een ander voorbeeld is: Hengelo (O) vs. Hengelo
Just van den Broecke
@justb4
@basvdheijden Denk dat je deze vraag beste kunt stellen op https://geoforum.nl/c/datasets/bag , daar zitten ook de API ontwikkelaars. Strict genomen gaat BAG niet over gemeente(namen), maar t/m Woonplaats en meen ik alleen koppeling naar gemeentecode. NLExtract doet deze verrijking met gemeente+provincie op basis CBS gegevens.
Bas van der Heijden
@basvdheijden
Dank.
Ik heb de vraag ook daar gesteld.
Tino de Bruijn
@tino
Hi, ik ben op zoek naar een conversie tabel van gebruikelijke naar officiële plaatsnamen. Ik weet uit mijn hoofd alleen Den Haag en Den Bosch en kan verder niet zo snel een lijst vinden. Op https://github.com/PDOK/locatieserver/wiki/API-Locatieserver zie ik ook alleen deze twee. Zijn dit de enigen? Zit deze informatie in BAG of een andere dataset? (Had dit hier gepost nlextract/NLExtract#270 maar @fsteggink verwees mij naar de mailinglijst of hier. Dacht ik post het hier want het hoeft niet direct opgenomen worden in de Extract als het alleen om deze twee gaat wmbt).
Sicco van Sas
@siccovansas

Hee @tino jij hier :D! Ik heb daar toevallig voor waarismijnstemlokaal.nl ook naar gekeken, alleen dan enkel naar gemeentenamen. Naast Den Haag en Den Bosch kwam ik nog op de volgende 3 Friese gemeentenamen die een alternatieve spelling hebben:
De Friese Meren / De Fryske Marren
Noordoost-Friesland / Noardeast-Fryslân
Zuidwest-Friesland / Súdwest-Fryslân

Wellicht zijn er dus meer Friese plaatsen die een alternatieve spelling hebben.

Tino de Bruijn
@tino
Ha @siccovansas! Ja ik geloof dat in het Fries alles een 2e naam heeft, maar daar ga ik nog niet aan beginnen, das een aparte taal ;). Maar goed, dan laat ik het hier bij en hardcoden we DH en DB als synoniemen in de code.
William Loosman
@botenvouwer

He beste mensen,
Ik ben bezig met het scripten van een bgt extract. Ik gebruik NLExtract en het werkt heel goed, waarvoor hulde. Ik loop alleen vast op een foutmelding:

2019-09-13 14:51:44,792 fileinput INFO Pop file record: {'file_path': './todo/bgt_148.zip', 'name': u'bgt_pand.gml'}
2019-09-13 14:51:51,877 subfeaturehandler INFO In SubFeatureHandler.invoke
2019-09-13 14:51:51,879 subfeaturehandler INFO In SubFeatureHandler.invoke
2019-09-13 14:53:51,806 component INFO ZipFileInput invokes=33 time(total, min, max, avg) = 0.032 0.001 0.002 0.001
2019-09-13 14:53:51,808 component INFO ZipFileExtractor invokes=33 time(total, min, max, avg) = 59.312 0.004 9.082 1.797
2019-09-13 14:53:51,808 subfeaturehandler INFO Exit: SubFeatureHandler
2019-09-13 14:53:51,808 component INFO SubFeatureHandler invokes=33 time(total, min, max, avg) = 5.280 0.001 5.212 0.160
2019-09-13 14:53:51,809 subfeaturehandler INFO Exit: SubFeatureHandler
2019-09-13 14:53:51,809 component INFO SubFeatureHandler invokes=33 time(total, min, max, avg) = 0.039 0.001 0.003 0.001
2019-09-13 14:53:51,809 gfspreparationfilter INFO Exit: GFS preparation filter
2019-09-13 14:53:51,810 component INFO GfsPreparationFilter invokes=32 time(total, min, max, avg) = 94.830 0.090 22.033 2.963
2019-09-13 14:53:51,810 component INFO Ogr2OgrExecOutput invokes=32 time(total, min, max, avg) = 141.180 0.121 31.823 4.412
Traceback (most recent call last):
  File "../../externals/stetl/stetl/main.py", line 147, in <module>
    main()
  File "../../externals/stetl/stetl/main.py", line 138, in main
    etl.run()
  File "/mnt/d/repo/NLExtract/externals/stetl/stetl/etl.py", line 159, in run
    chain.run()
  File "/mnt/d/repo/NLExtract/externals/stetl/stetl/chain.py", line 174, in run
    packet = self.first_comp.process(packet)
  File "/mnt/d/repo/NLExtract/externals/stetl/stetl/component.py", line 218, in process
    packet = self.next.process(packet)
  File "/mnt/d/repo/NLExtract/externals/stetl/stetl/component.py", line 218, in process
    packet = self.next.process(packet)
  File "/mnt/d/repo/NLExtract/externals/stetl/stetl/component.py", line 218, in process
    packet = self.next.process(packet)
  File "/mnt/d/repo/NLExtract/externals/stetl/stetl/component.py", line 204, in process
    packet = self.invoke(packet)
  File "/mnt/d/repo/NLExtract/bgt/etl/stetlbgt/subfeaturehandler.py", line 146, in invoke
    xf.flush()
  File "src/lxml/serializer.pxi", line 925, in lxml.etree.xmlfile.__exit__
  File "src/lxml/serializer.pxi", line 1263, in lxml.etree._IncrementalFileWriter._close
  File "src/lxml/serializer.pxi", line 1269, in lxml.etree._IncrementalFileWriter._handle_error
  File "src/lxml/serializer.pxi", line 199, in lxml.etree._raiseSerialisationError
lxml.etree.SerialisationError: unknown error -2029986190

Zoals je kunt zien is het een hele duidelijke unknown error uit een onderliggende library die gebruikt word om XML uit te lezen. Ik denk dat de XML een syntax foutje of iets dergelijk bevat. Weet iemand hoe ik dit kan debuggen/ oplossen?

Marie-Anne
@marieanneb_gitlab
Hi allemaal, voor een mobiliteitsvraagstuk ben ik op zoek naar de locaties/coordinaten van de op- en afritten van het Nederlandse snelwegennetwerk. Heeft iemand tips/tricks waar ik deze gegevens kan vinden?
Pander
@PanderMusubi
@tino @siccovansas @justb4 @basvdheijden Op 1 juli heb ik een presentatie gegeven bij de GI-raad voor de Rijksoverheid waar de Nederlandse OSM-community en Nederlandse spellingcontrole tegenaan lopen bij aardrijkskundige namen. Was interessant om te zien dat exact dezelfde problemen ook naar voren werden gebracht door Kadaster, Nederlandse gemeenten, veiligheidsregios, etc. (Presentatie kan ik doorsturen aan wie dat wil) Er is een systeem in de maak dat naast 1 officiële naam ook met een alternatieve naam om kan gaan, maar dat gaat nog wel even duren. Dus een hardcoded lijst met vertalingen en alternatieven voor NLExtract is zeker op zijn plaats. Waar in de repo kan ik de huidige vertalingen en alternatieven vinden?
Just van den Broecke
@justb4

Hi allemaal, voor een mobiliteitsvraagstuk ben ik op zoek naar de locaties/coordinaten van de op- en afritten van het Nederlandse snelwegennetwerk. Heeft iemand tips/tricks waar ik deze gegevens kan vinden?

Normaal gesproken via Rijkswaterstaat het NWB bestand of DTB, maar waarschijnlijk gemakkelijkst via OpenStreetMap: https://wiki.openstreetmap.org/wiki/Tag:highway%3Dmotorway_link dan via Overpass API de juiste queries uitvoeren, maar zal m.i. klein projectje zijn...