Hoi iedereen,
Kan iemand mij misschien op weg helpen om NLExtract met BAG2.0 data te kunnen gebruiken? Ik heb Docker geinstalleerd op een VPS. Vervolgens heb ik de nlextract-1.5.2.zip via https://github.com/nlextract/NLExtract/releases/tag/1.5.2 gedownload en uitgepakt. Daarna heb ik gedaan:
docker build -t nlextract .
docker run -d nlextractHoe kan ik vervolgens de BAG 2.0 van een gemeente, gedownload via https://extracten.bag.kadaster.nl/lvbag/extracten/Gemeente%20LVC/1, verder verwerken?
Alvast bedankt,
Jelmer Oosthoek
Hi allemaal,
Ik probeer de ETL aan de praat te krijgen. Ik heb deze stappen gevolgd: https://github.com/nlextract/NLExtract/blob/master/bagv2/etl/README.md Bij de laatste stap krijg ik een Exception: File list is empty!!. De directory external/stetl is leeg. Deze error treed op in regel 49 van het stetl.sh script. Heeft iemand hier de oplossing voor?
Groet Rens
Hoi @RensNaeff en allen: als je een probleem meldt, zeg precies welke component-versies/OS, methode (Met Docker, Geen Docker) stappen je deed en bij welke stap het stokte met foutmelding. In de README staan 2 methodes. Anders moeten de helpers steeds 'wedervragen' stellen. Dank.
Goed, hier kan ik met een beetje deduceren afleiden dat het hoogstwaarschijnlijk om een git clone gaat die niet de Stetl submodule (externals/stetl) meeneemt. Juiste commando:git clone --recursive https://github.com/nlextract/NLExtract.git .
Hi Just,
Dank je voor je antwoord. Om dan alsnog de volledige info te geven: Ik heb de Docker route bewandeld en werk met IOS 11.12.3. Ik heb de volgende stappen uitgevoerd:
- postgis db aangemaakt op server localhost met credentials postgres postgres.
docker pull nlextract/nlextract:latest- directory aangemaakt
<localpath>/work curl -o <localpath>/work/bag.zip https://extracten.bag.kadaster.nl/lvbag/extracten/Nederland%20LVC/BAGNLDL-08032021.zipdocker run --name nlextract --rm -v $(pwd)/work:/work nlextract/nlextract:latest bagv2/etl/etl.sh -a bag_input_file=<localpath>/work/bag.zip
Bij het uitvoeren van stap 5 krijg ik de volgende error:factory ERROR cannot create object instance from class 'stetl.inputs.fileinput.VsiZipFileInput' e=File list is empty!!
Traceback (most recent call last):
File "/nlx/externals/stetl/bin/stetl", line 43, in <module>
main()
File "/nlx/externals/stetl/bin/stetl", line 36, in main
etl.run()
File "/nlx/externals/stetl/stetl/etl.py", line 154, in run
chain.assemble()
File "/nlx/externals/stetl/stetl/chain.py", line 87, in assemble
etl_comp = factory.create_obj(self.config_dict, etl_section_name.strip())
File "/nlx/externals/stetl/stetl/factory.py", line 28, in create_obj
raise e
File "/nlx/externals/stetl/stetl/factory.py", line 25, in create_obj
class_obj_inst = self.new_instance(class_obj, configdict, section)
File "/nlx/externals/stetl/stetl/factory.py", line 62, in new_instance
return class_obj(configdict, section)
File "/nlx/externals/stetl/stetl/inputs/fileinput.py", line 587, in __init__
ZipFileInput.__init__(self, configdict, section, produces=FORMAT.gdal_vsi_path)
File "/nlx/externals/stetl/stetl/inputs/fileinput.py", line 534, in __init__
FileInput.__init__(self, configdict, section, produces)
File "/nlx/externals/stetl/stetl/inputs/fileinput.py", line 62, in __init__
raise Exception('File list is empty!!')
Exception: File list is empty!!
-a bag_input_file werkt. Vanuit Docker container gezien bestaat <localpath> niet. Container kijkt naar /work en NLExtract/Stetl dus naar /work/bag.zip (via -a) .$(pwd) is een Bash-shortcut voor huidige dir bedoeld als voorbeeld. Gaat om absolute dir die je naar /work in Docker Container mount, dus voor jou: <localpath>/work.Dus je commando is dan:
docker run --name nlextract --rm -v <localpath>/work:/work nlextract/nlextract:latest bagv2/etl/etl.sh -a bag_input_file=/work/bag.zip.
@justb4 Dank je wel voor je antwoord. Ik heb weer wat bijgeleerd, en de error die ik had is hier inderdaad mee opgelost.
Echter, ik loop tegen een volgende error aan. Uitgevoerde stappen:docker pull nlextract/nlextract:latestcurl -o <localpath>/work/bag.zip https://extracten.bag.kadaster.nl/lvbag/extracten/Nederland%20LVC/BAGNLDL-08032021.zipdocker run --name nlextract --rm -v <localpath>/work:/work nlextract/nlextract:latest bagv2/etl/etl.sh -a bag_input_file=/work/bag.zip
De tabbellen zijn aangemaakt in de Postgis db, maar nog zonder data. De laatste log regels die ik krijg zijn:2021-04-22 11:17:37,327 fileinput DEBUG MATCH: ['/vsizip/{/work/bag.zip}', 'Leveringsdocument-BAG-Extract.xml']
2021-04-22 11:17:37,327 fileinput DEBUG ADD ENTRY: /vsizip/{/work/bag.zip}/Leveringsdocument-BAG-Extract.xml
/nlx/bagv2/etl/stetl.sh: line 49: 16 Killed ${STETL_HOME}/bin/stetl -a ${common_options_file} -a ${options_file} ${user_args}
/nlx
Ik heb ook de nlextract/nlextract:1.5.2 versie geprobeerd. Dat geeft dezelfde output. Heb je een idee waarom het process wordt gekilled?
Maar goed: als je Docker for Mac/Desktop gebruikt moet je deze meer geheugen (RAM) geven in Preferences/Resources, bijv 8GB. Kan ook nog zijn dat je lokale map niet zichtbaar is in Docker, kun je ook in Preferences toewijzen.
Mensen: overweeg eens een tegenprestatie: het liefst als bijdrage aan het NLExtract project: code, documentatie... of als je alleen afnemer bent via een donatie, dat kan al tijden met paar klikken: https://github.com/nlextract/NLExtract de "Sponsor" button rechtsboven.
input_zip_file|extract_zip_file|handle_orl|handle_pand|prepare_gfs|output_ogr2ogr,
while True:
packet = Packet()
packet = self.input_comp.process(packet)
start_packets.append(packet)
if packet.is_end_of_stream():
break with multiprocessing.Pool(processes) as pool:
pool.map(self.first_comp.process, start_packets)Goed bezig! Dat is inderdaad het level waar we al eerder dachten over multithreading/processing. Zie ook deze langlopende issue:
geopython/stetl#41 . De architectuur op basis van Components die Packets doorgeven is geschikt daarvoor. Nu staat maar 1 processor/CPU wat te doen...
Het andere is dat veel basisregistraties grote file-verzamelingen hebben die vaak parallel verwerkt kunnen worden. Stetl Splitter/Combiner Filters zouden daarbij kunnen helpen.
FileExtractor aanpassen