Where communities thrive


  • Join over 1.5M+ people
  • Join over 100K+ communities
  • Free without limits
  • Create your own community
People
Repo info
Activity
  • Sep 14 14:48

    pitkant on pitkant_folders

    Documentation, get_eurostat sup… (compare)

  • Sep 14 13:44
    pitkant commented #226
  • Sep 14 13:21
    antagomir commented #226
  • Sep 14 13:03
    pitkant assigned #226
  • Sep 14 13:03
    pitkant labeled #226
  • Sep 14 13:03
    pitkant opened #226
  • Sep 13 11:16

    pitkant on pitkant_folders

    (compare)

  • Sep 13 11:16

    github-actions[bot] on gh-pages

    Built site for eurostat: 3.7.7@… (compare)

  • Sep 13 11:14

    pitkant on pitkant

    (compare)

  • Sep 13 11:11

    github-actions[bot] on pitkant

    Re-build README.Rmd (compare)

  • Sep 13 11:10

    pitkant on pitkant

    Initial gh-pages commit Revert "Initial gh-pages commit… Re-build README.Rmd and 13 more (compare)

  • Sep 10 10:32

    github-actions[bot] on gh-pages

    Built site for eurostat: 3.7.7@… (compare)

  • Sep 10 10:18

    pitkant on master

    Github actions: Test coverage (compare)

  • Sep 08 10:39

    github-actions[bot] on gh-pages

    Built site for eurostat: 3.7.7@… (compare)

  • Sep 08 10:27
    pitkant closed #211
  • Sep 08 10:27
    pitkant commented #211
  • Sep 08 10:25

    pitkant on master

    Re-exporting imported functions… Comment test with deprecated pa… Add 'dat' as function parameter and 1 more (compare)

  • Sep 07 15:59
    pitkant closed #212
  • Sep 07 15:59
    pitkant commented #212
  • Sep 07 11:44
    pitkant commented #223
Markus Kainu
@muuankarski
kokeilin asentaa linuxille gitter appin
@antagomir @jlehtoma gitter calling, over
Androidille testaan?
Leo Lahti
@antagomir
hienosti menee
Joona Lehtomäki
@jlehtoma
Noni, nyt on asennettu kaikki taas uudestaan.
Markus Kainu
@muuankarski
\ô/
Joona Lehtomäki
@jlehtoma
Kyllä kannatti
Leo Lahti
@antagomir
diudiuu
Markus Kainu
@muuankarski

Kokeillaas saako täältä yhtä hyvää vastausta ku slackistä.

aihe siis datapaketti R:llä JA yml-filujen DYNAAMINEN prosessointi data-raw-kansiosta data kansioon paketin buildaamisen yhteydessä

Eli lueskelin eri lähteidä datan liittämisestä R-paketteihin ja siis nyrkkisääntöjä taitaa olla ainakin
  1. datat data kansioon .rda muodossa
  2. dokumentoi data-kansion .rda-datat R kansiossa data.R filussa JA
  1. tän pohjalta: http://www.davekleinschmidt.com/r-packages/ JOS sulla on raw-dataa, josta data-kansion data prosessoidaan, laita ne data-raw-kansioon ja laita sinne skripti joka prosessoi ko. raakadatat. Mullla siis ko. kansiossa ois yml-filet
Joona Lehtomäki
@jlehtoma
Jännitys tiivistyy
Markus Kainu
@muuankarski
Haluaisin että toi skripti prosessoi raakadatat AINA kun buildaan paketin, joten Kysymys kuuluu:

Voiko paketin rakentamisen yhteydessä jollain virallisella tapaa ajaa tuon R-skriptin?

Tämä mahdollistaisi siis sen, että kun teen muutoksia yml-filuihin, niin ne päivittyisi rda-filuihin ILMAN erillistä skriptin ajamista. SIIS pelkällä paketin rakentamisella

esimerkki siis tässä:
https://github.com/rOpenGov/edudata
Markus Kainu
@muuankarski
Nyt data-kansio on tyhjä, mutta jos ajat skriptin ./data-raw/process_raw_data.R ko. yml-filet tulee data-kansioon
Ei oo järin kiireinen asia, palaan sorvin ääreen parin tunnin päästä. Jos tähän on tullut hyvä vastaus, niin gitter on ehdottomasti kokeilun arvoinen laajemminkin!
Leo Lahti
@antagomir
!
Joona Lehtomäki
@jlehtoma
En tiiä, saako ihan normi-R:n buildiin mukaan jotain pre-build skriptejä tms. Kaksi häckkiä tulee mieleen:
1) Kustomoitu devtoolsin funktioita käyttävä buildi
2) Makefile -> konffaa RStudion käyttämään sitä buildissa
Mutta kumpikaan ei siis skulaa perus-buildin kanssa
Markus Kainu
@muuankarski

Kiitti, tässä tapauksessa jätän kikkailut pois. Kirjoitin edu- ja edudata-paketit vähän fiksummin uusiksi. Vielä kun kirjoitan vignetet kuntoon yms. niin pyydään testaamaan.

Idea näiden tehtävien jakamiseen on nyt se, että edu-paketin mukana tulee vaan pari demoharjoitusta. Laajemmat harjotukset tulee nyt edudata-paketin mukana, jonka voi valita lähteeksi addinissä (tulee herja jos ei asennettuna). Kolmas harjoitusten lähde voi olla oma custom paketti, jossa pitää olla sama rakenne kuin edudata-paketissa.

Harjotus tarkistamisessa pitää myös valita paketti, josta harjotukset ovat peräisin. Molemmissa defaulttina on edudata-paketti. (se drat voi sittenkin olla kätevä..)

btw, learnr-paketista blogaus: https://blog.rstudio.com/2017/07/11/introducing-learnr/ . Ei sinänsä overlappia tän kanssa, vaatii serverin ja systeemit ja aika paljon käsityötä. Mutta sellasiin olosuhteisiin voisi toimia.

Ja, hei tohon oikealle on tullut mun digiroad lisäys trelloon. Että ainakin se integraatio toimii
Leo Lahti
@antagomir
jeessss
Joo mä ainakin testaan ihan mieluusti, pitäis kehittää omallakin kohdalla tätä hommaa eteenpäin työn puolesta ja tää istuu siihen kyllä hyvin
Leo Lahti
@antagomir
We got some feedback by email, I think by eurostat data people but Im not sure: "Why you not used directly the shapefiles and relied now on RDATA on your github account ? Was ESTAT infrastructure not efficient enough? Do you need another format ? We also provide GeoJSON/TopoJSON and PBF format at http://ec.europa.eu/eurostat/cache/GISCO/distribution/v1/. "
Starting to think about this.. I do not remember why we ended up hosting our own copy in RData format - do you remember - @muuankarski
tai @jlehtoma
Markus Kainu
@muuankarski
@jlehtoma could json/topojson as input with sf conversion on the fly be somehow better? Again we have only one shapefile with 5 different resolutions than change every few years
Leo Lahti
@antagomir
if there is not remarkable difference in size & speed then fetching the data straight from eurostat would be preferable over our own secondary copies
it even seems that they might be ready to add other output formats if we ask though not sure
Leo Lahti
@antagomir
Muuten tämmöstäkin ilmottelivat (korjaan saman tien mutta fyi): Small typo on page 388 for the journal article,
Instead of Merge Eurostat data with geodata from Cisco
should be Merge Eurostat data with geodata from Gisco
Plus in source code get_eurostat_geospatial.R
Instead of @title Download Geospatial Data from GISCO
It should be @title Download Geospatial Data from GISCO
Markus Kainu
@muuankarski
ok, hyvä korjaus.