\\fs-satdata\External\citobs\CO_koe\Calvalus_input\esimerkit timo.pyhalahti@ymparisto.fi 20170316 Testitiedostoja CitobsDB ja Calvalus tiedonvaihtoa varten: Matchup kokeita ilman satelliittiaineistossa määriteltyä kohde Huom: Calvalus syöttötiedoston ensimmäinen sarake on aina aineiston havaintopaikan ID, ja tämä ID on Open311 havainnon havaitsijalle ilmoitettu ID ja sen koordinaatti havaitun ilmiön koordinaatti, oli havaintoa jotenkin kiinnitetty erilaisiiin havaintoasemiin tai ei. Huom2: Calvalus syöttötiedoston #-alkavan rivin calvalus tunnistaa kommenttiriviksi (tai pooiskommentoiduksi datariviksi) jossa voi olla ohjetietoja, ensimmäinen ei-kommenttirivi on otsikkorivi ja kaikki muut rivit datarivejä A) esim_matchup.txt ================ Yksinkertainen testi jossa SITE -tieto sidotaan aikaan ja koordinaatteihin Calvalus tiedoissa. Tässä ei edes havainto-IDtä: Syntyvässä matchup tiedossa sellainen on. Tiedoksi Calvalus vaatima "minimitaso", lisää aiheesta https://vyvi-some3.vy-verkko.fi/syke/envibase/kansalaishavainnot/Asiakirjat/osahankeosat/T4.8_Tietoarkkitehtuuri/formaatit https://vyvi-some3.vy-verkko.fi/syke/envibase/kansalaishavainnot/Asiakirjat/osahankeosat/T4.8_Tietoarkkitehtuuri/systemin_omat/internet_linkkien_datatiedostot B) chl_2011_monitoringStations_EUREF.txt ===================================== Headermäärittelyjä mukana, katso \\fs-satdata\External\citobs\CO_koe\Calvalus_input\instructions Tässä ensimmäinen palsta "P_ID" pitäisi sisältää Open311 syöttötapausten numeeriset ID tunnukset Muut kuin headerisaa mainitut otsikkorivin kentät voidaan ajatella muuttujien tunnuksiksi CitobsDB järjestelmässä Kenttiä vastavat arvot ovat muuttujien arvoja liukuluvuilla ja (kieliriippumattomia) valinnan ID -numeroita pudotusvalikkovalinnoista Mikäli muuttujan arvot eivät ole liukulukuja tai kokonaislukuja, arvoksi tulee muuttujan sisällön sisältävän tietueen ID (kokonaisluku). Kyseisen ID ja CitobsDB muuttujan nimen avulla siis on identifioitavissa ja haettavissa havainnon avoimen tekstikentän tai binääridatan tallennustiedoston URL (Lähtökohtaisesti internetistä nähtynä, voi myös osoittaa tiedostoon joka uudelleenohjaa ko tiedon nykyiseen säilytyspaikkaan) Tämä esimerkki toimii todistetusti Calvalus-klusterissa, vaikkei sisälläkään CitobsDB dataa C) validNotValid_chl_2011_monitoringStations_EUREF.txt ===================================== Headermäärittelyjä mukana kuten edellä seuraavin (valinnaisin) lisäyksin alkuriveille (ja vapaamuotoinen kommentointi headerissa on osattava ohittaa) # citobsdbQuestionnaireID= # citobsdbQuestionName= <> # citobsdbDataExtractTimeStart= <'dateformat' mukainen aikamääre tai määreet pilkulla erotettuina jos päivämäärä ja kellonaika eri sarakkeissa> # citobsdbDataExtractTimeEnd= <'dateformat' mukainen aikamääre tai määreet pilkulla erotettuina jos päivämäärä ja kellonaika eri sarakkeissa> 1. 3. 5. ja 6. tietorivi eli havaintopiste on merkattu "not valid" eli CitobsDB kannassa ko havainnoissa on merkittynä etteivät ne ole oikeita ja uskottavia havaintokertoja. Ainakin yhden kysymyksen vastaus eli ainakin yhden muuttujanarvon sisältö on siis tarkastusprosessissa havaittu epäluotettavaksi Mikäli yksikin muuttujanarvo rivillä on epäluotettava, alkaa koko rivi #-merkillä ja havaintokerta (eli kertavastaus Open311 rajapinnassa näkyvään kyselyyn,'questionnaire') merkataan epäluotettavaksi. Mikäli kaikkiin muuttujanarvoihin, aika-arvoihin ja koordinaatteihin luotetaan myös ko riviin on luotettava Mikäli #-aloituksella epäluotettavaksi merkatulla rivillä ei muuttujien arvojen edessä ole kertaakaan #-merkkiä, kaikki yksittäiset muuttujanarvotiedotkin (kysymysten vastaustapaukset yhteen kyselyn kysymykseen, 'question') ovat epäluotettavia. Kuitenkin epäluotettavaksi merkityssä rivissä voidaan tunnistaa epäluotetut yksittäset kysymysten vastaukset tai aika/sijaintitiedot aloittamalla ko sarakken tieto merkillä #, jolloin muut rivin tiedot katsotaan luotetuiksi Esimerkki 1: 5. tietorivillä (P_ID=12406) muuttujan "chl_conc" arvo merkitty epäluotettavaksi, mutta rivin muut kysymysten vastaukset ovat luotettavia Esimerkki 2: 6. tietorivillä (P_ID=3571) havaintoajan kellonajan arvo on merkitty epäluotettavaksi, mutta rivin muut kysymysten vastaukset ovat luotettavia 1) CitobsDB kantaan jatkossa syötettävistä korjaustiedoista pitää osata löytää ja merkata ei-valideiksi muuttujan tai havaintotapauksen havainnot, joissa #-merkki on ennen Open311 ID:tä ja erilaisia epäluotettaviksi kantaan merkittyjä arvoja edellä kuvatun mukaisesti 2) CitobsDB kannasta pitää voida tuottaa tällainen tiedosto jossa ei-validit Open311 havaintotapaus-ID:t alkavat #-merkillä, ja siinä on vain yhdenlaisen kyselyn tyyppisiä havaintoja sisältäen tiedot kaikista ko kyselyyn kuuluvista kysymyksistä (eli muuttujanarvoista) siinä järjestyksessä kuin ne Open311 kyselyssä esitetään 'citobsdbQuestionnaireID' ID-numerolla löytyvästä kyselystä 3) CitobsDB kannasta tällainen pitää saada ulos siten, että siinä on vain yhden kysymyksen (eli muuttujan) arvot yhtenä palstana epäluotetut rivit ja arvot #-merkillä aloittan (huom epäluotetulla havaintotapauksen rivillä voi olla luotettu muuttujanarvo muttei päinvastoin) citobsdbQuestionnaireID määritystä ei tällaisissa tiedostoissa ole mutta sen sijaan citobsdbQuestionName on 4) CitobsDBstä voidaan tuottaa ohjelmallisesti ote joko citobsdbQuestionnaireID (numero) tai muuttujannimi (teksti), citobsdbDataExtractTimeStart ja citobsdbDataExtractTimeEnd tiedoilla, millä pitää voida säädellä mikä "aikapätkä" kyseistä kyselyä tai muuttujaa CitobsDB kannasta haetaan. Muu suodatus Calvalus/CitobsDB tekstitiedostoihin tehdään muilla työkaluilla, näistä tiedostoista rivejä poistaen. 5) Otteen tuottamista varten tehdään soveltuva ajettava skripti, jonka ylläpitäjä voi ajaa tarkastusta varten tai joita voi luoda ajettavaksi automaattisesti. Joko citobsdbQuestionnaireID (numero) tai muuttujannimi (teksti) on määriteltävä, ajan oletusarvot ovat muuten koko aineiston alusta koko aineiston loppuun. D) NewToken_validNotValid_chl_2011_monitoringStations_EUREF.txt ============================================================ Kuten "validNotValid_chl_2011_monitoringStations_EUREF.txt" mutta headermäärittelyllä # citobsdb_chl_conc=CHL CitobsDB kyselyissä määritelty muuttuja "CHL" on uudelleennimetty palstaksi "chl_conc" aloittamalla määrittely "citobsdb_" Näille korvauksille CitobsDBstä tuotetuissa tekstitiedostoissa, joilla ohjataan Calvalus toimintaa, tehdään tuottamisen automaattiskriptejä tarvittaessa myöhemmin Kuitenkin jo alusta lähtien tuetaan muuttujien uudelleenimeämistä niin että kohdasta C toteutuu ainakin 1) CitobsDB kantaan jatkossa syötettävistä korjaustiedoista pitää osata löytää ja merkata ei-valideiksi muuttujan tai havaintotapauksen havainnot, joissa #-merkki on ennen Open311 ID:tä ja erilaisia epäluotettaviksi kantaan merkittyjä arvoja edellä kuvatun mukaisesti