#data bigdata avoindata

[mikorajala-blog]

Big data ja avoin data. Mitä ne ovat ja kuinka niitä voi hyödyntää.

Yhteiskunta on viime vuosikymmenten aikana digitalisoitunut radikaalisti. Tämä on synnyttänyt lieveilmiönä massiivisen määrän dataa. Viime vuosina tietokoneiden laskentateho on kehittynyt ja tätä valtavaa datamassaa on mahdollista hyödyntää nykypäivän teknologian avulla.

Hyvät, pahat ja big data.

Big Datalle löytyy useampi eri määritelmä, riippuen määrittelijästä. Yleisesti ottaen massiivisesta ja prosessoimasta datamassasta käytetään termiä big data. Dataa syntyy lukemattomista eri lähteistä. Esimerkiksi Facebook vastaanottaa päivittäin 500 teratavua dataa. Tämä datamäärä korkealaatuisina JPEG valokuvina olisi noin 66,56miljoonaa valokuvaa. Yksi lento Boeing 747 lentokoneella puolestaan synnyttää 250 teratavua lentodataa.  Asiantuntijoiden mukaan Big Datalla on valtava taloudellinen merkitys sekä julkisella, että yksityisellä sektorilla. Itse olen asiantuntijoiden kanssa täysin samaa mieltä. Se, miten eettisesti tätä dataa käytetään on puolestaan jokaisen käyttäjän vastuulla.

Entä mikä ihmeen Avoin Data?

Avoin data on puolestaan sellaista dataa johon kellä tahansa on käyttöoikeus. Avoin data on siis lisensoitu niin, että sen hyödyntäminen jopa kaupallisiin tarkoituksiin on sallittu. Dataa avaavat enimmäkseen julkiset tahot kuten kunnat ja kaupungit mutta myös yksityiset tekijät ovat innostuneet trendistä. Tämä data on ikäänkuin digitaalista raaka-ainetta. Yritykset, yhteisöt ja yksityishenkilöt voivat hyödyntää sitä esimerkiksi erilaisien digitaalisten ratkaisujen muodossa.

Datankäytön sovelluksia.

Mahdollisuus avoimen datan käytölle on avautunut ja  sen seurauksena yhä useampi on hyödyntänyt sitä. Ihmiset ovat luoneet kaikenlaisia sovelluksia ja projekteja avoimen datan pohjalta. Näitä voi etsiä esimerkiksi Helsinki Region Infosharen sivuilta (HRI.fi), jonne on koottu erilaisia avoimen datan applikaatioita.

Mielestäni hauska esimerkki on Helsinki Traffic Forecast, jonka avulla on mahdollista ennustaa ja analysoida liikennettä helsingin alueella. Tämä sovellus käyttää pohjana Helsinki Info Sharen ja maanmittauslaitoksen julkaisemaa avointa dataa.

Tätä applikaatiota voisi hyödyntää esimerkiksi taksiyrittäjät tutkiakseen mitä alueita kannattaa välttää mihinkin kellonaikaan tai vaikkapa tavan kansalainen suunnitellessaan reittiä mahdollisimman ripeään kotimatkaan. Avoimen datan ja Big Datan käyttömahdollisuudet ovat monipuoliset. Mielikuvitusta käyttäessä voi datan pohjalta löytää rajattomasti ratkaisuja liiketoiminnan eri ongelmiin tai sen tehostamiseen. Mitä avoimen datan käyttökohteita sinä keksit? Kommentoi alle.

[learningdigitality]

Avoin data

Hei taas! Nyt käsitellään termiä Avoin data ja selvitetään kuinka sitä voitaisiin hyödyntää yrityksissä toimintaansa kehittäen. Ensiksi käydään lyhyesti läpi, mitä tarkoittaa Big Data.

Mitä tarkoittaa Big Data?

Big Datan määritelmä ei ole täysin yksiselitteinen tai vakiintunut, mutta on olemassa tiettyjä tunnusomaisia piirteitä, joita big dataan tyypillisesti liitetään. Usein big dataan liitetään kolme määrettä: määrä (volume), nopeus (velocity) ja monimuotoisuus (variety). Käytännössä tämä tarkoittaa seuraavia:

Määrä: Datamäärän johdosta se ei ole käytettävissä yleisesti käytössä olevilla laitteilla ja ohjelmistoilla järkevässä ajassa.

Nopeus: Dataa kertyy monista lähteistä eri muodoissa, usein automaattisesti kerättynä, ja se kasaantuu ja/tai muuttuu nopeasti.

Monimuotoisuus: Datalla ei välttämättä ole lainkaan rakennetta tai se on vain löyhästi määritelty, minkä johdosta sen analysointi sellaisenaan on hankalaa.

Big Dataa on oikeastaan kaikki, mitä verkosta löytyy ja mitä sinne on ladattu. Jokaikinen lähetetty sähköposti, nettiin ladattu kuva, kaikki nettisivut yms. 

Mitä tarkoittaa avoin data?

Avoin data on dataa, jota voi käyttää kuka tahansa ilmaiseksi missä tahansa  - myös kaupallisiin tarkoituksiin. Avoin data ja julkinen data eivät ole sama asia. 

Hri.fi kertoo sivuillaan avoimen datan periaatteisiin kuuluvan, että se on julkista, koneluettavassa muodossa ja maksutta uudelleen käytettävissä.   

1. Julkista

Datan täytyy olla julkista tietoa, jotta se voitaisiin avata. Kenenkään yksityisyydensuoja tai yleinen turvallisuus ei saa vaarantua dataa avattaessa. Data saa sisältää esimerkiksi henkilötietoja tai liikesalaisuuksia.

2. Koneluettavassa muodossa

Datan täytyy olla avattu sellaisessa muodossa, että sitä on helppo käsitellä tietokoneohjelmistoilla. Helppoa on lukea esim. PDF-dokumenteissa tai HTML-sivuilla olevaa tietoa, mutta ohjelmallisesti sitä on vaikeaa lukea. Datan koneelliseen tarkasteluun sekä hyödyntämiseen sopivat esim. CSV-, XML- tai XLS-muodot.

3. Lisensioitu

Datan luoja on sallinut aineiston uudelleenkäytön ja kertoo sen selkeästi käyttöehdoissa, jotka löytyvät datan yhteydestä. Käyttöoikeuksien selvittäminen voi olla useasti niin työlästä, että datan hyödyntämisestä luovutaan.

4. Maksutonta

Dataa saa käyttää maksutta. Maksuttomuus helpottaa erityisesti ensikosketuksen saamista dataan. Se antaa mahdollisuuden datan hyödyntämiseen liittyvät kokeilut ilman budjettibyrokratiaa.

Kuinka yritykset voisivat hyödyntää avointa dataa toimintansa kehittämiseen?

Yritykset voisivat hyödyntää avointa dataa mm. tilastokeskuksesta löytyvillä aineistoilla. Heiltä saattaa löytyä arvokkaita ajankohtaisia tutkimuksia yrityksen menestykseen liittyen yms. Kun hyödynnetään avointa dataa, säästetään aikaa ja vaivaa ja samalla rahaa (avoimen datan käyttäminen ja etsiminen kun on ilmaista!). 

Tutustuin www.hri.fi sivustoon (sivusto kokoaa yhteen pääkaupunkiseudun avoimen datan) ja tutkin heidän sovelluksiaan. Avointa dataa sovelluksissa hyödynnetään ja käytetään paljon liikenteeseen liittyen. Löytyy mm. pysäköintimäärät Helsingissä, Helsinki Traffic Forecast, Pääkaupunkiseudun liikennevalot sekä Cycling in Helsinki ja Pyöräilijämäärät Helsingissä. 

Pysäköintifirmat voisivat käyttää sivuston sovellusten avointa dataa mm. suunnittelemalla lisää parkkipaikkoja. Uskon myös, että esim. Alepa vuokrapyörien suunnittelemisvaiheessa on käytetty samankaltaista avointa dataa ellei juuri kyseisen sivuston dataa, kun ollaan mietitty minne kaikkialle näitä pyöräpisteitä sijoitettaisiin. 

Lähteet:

https://www.sovelto.fi/ratkaisut/ict-ja-uudet-teknologiat/big-data/

https://hri.fi/fi/ohjeet/mita-on-avoin-data/

https://www.databusiness.fi/fi/avoindata/

https://www.stat.fi/org/avoindata/index.html