Vuosien varrella monista muotisanoista tulee muodikkaita monilla toimialoilla. Harvoista on tullut niin suosittuja ja niin kauan kuin isoja tietoja. Mutta mikä on big data, tarkalleen?
Suurilla tiedoilla tarkoitetaan virtuaalista tietoa valtamerestä useista lähteistä, jotka on analysoitu ja suodatettu siten, että niistä saadaan mielekkäitä ja käytännöllisiä tuloksia.
Prosessi, jolla ”iso data” muunnetaan merkityksellisiksi tuloksiksi, voi vaikuttaa monimutkaiselta ja vaikealta. Kuitenkin, kun ymmärrät, mitä big data on ja miten se toimii, ymmärrys sen merkityksellisyydestä ei vaikuta niin monimutkaiselta.
Mikä on Big Data?
Kun kuulet ihmisten puhuvan ”big data”, se on yleensä paljon käsi heiluttaa ja isoja sanoja. Mutta kun kiehutat kaiken hyperbolin, varsinainen ”data” on oikeastaan monia useita syötesuuntia.
Tämän ymmärtämiseksi esimerkki voi auttaa. Oletetaan, että sinulla on sateenvarjoa valmistava yritys. Markkinointiosastosi etsii tapaa ennustaa paremmin, milloin markkinoiden kysyntä on nousussa.
Ennen big data -päivää markkinoijat tutkivat markkinoiden kehitystä, lähettivät asiakaskyselyjä ja monia muita toimintoja.
He keräävät kaikki nämä tiedot ja tallentavat ne oman yrityksensa sisäisiin tietokantoihin. Joku saattaa jopa olla vastuussa markkinointitutkimustietojen päivittämisestä vuosittain tai neljännesvuosittain.
Suurten tietojen tulo kuitenkin laajentaa kykyä suorittaa tällaista tutkimusta. Erityisesti big data on erityisen tehokas tunnistamaan tärkeät trendit tai tapahtumat lähes reaaliajassa.
Tämäntyyppisen ”big data” -analyysin tietopanokset voivat sisältää reaaliaikaisia datavirtoja kirjoittamalla koodin, joka liitetään sovellusohjelmointirajapintaan (API) useille eri yrityksille, jotka ovat julkistaneet tiedot:
- Twitter ja Facebook: Tunnista milloin ja miksi ihmiset keskustelevat sateenvarjojen ostamisesta.
- Sää: Tunnistetaan sääolosuhteet tai ennusteet, jotka voivat muuttua sateenvarjojen kasvuksi.
- Pörssi: Sateenvarjojen valmistuksen raaka-ainehintojen kausivaihtelut.
- Asiakkaan verkkokäyttö: Yritysluettelossa käyvien ihmisten tietokoneevästeiden tietojen käyttäminen ostokäyttäytymisen ymmärtämiseksi.
- Asiakkaan ostohistoria: Myyntipisteiden trendien maantieteellisen sijainnin ja vuodenaikojen seuraaminen jälleenmyyjiltä.
Suurtietojen käyttämiseksi tämän yrityksen markkinointitiimin on joissakin tapauksissa asennettava uusi tekniikka.
Big Data ja Internet
Tähän voi sisältyä esineiden internet (IoT) -tekniikka vähittäiskauppiailla, joka seuraa ja raportoi kuluttajien käyttäytymistä. Tai siihen voi liittyä, että ohjelmoija kirjoittaa koodin, joka vaaditaan Twitterin API: n kanssa, suodattamaan kaikki twiitit, joissa mainitaan ”sateenvarjot” tai yrityksen nimi.
Jokainen näistä tekniikoista on nyt saatavana Internetin ansiosta. Internetin avulla kuka tahansa voi hyödyntää tietovirtoja ympäri maailmaa.
Näin esimerkin mukaiset asetukset voivat toimia tässä tapauksessa.
Tämä kaavio osoittaa, kuinka data virtaa yrityksen ”datajärvelle” monista eri lähteistä. Saapuvat tiedot voidaan rakentaa eri tavalla, mutta tärkeintä on kerätä mahdollisimman paljon tietoja kaikista lähteistä.
Mikä on Data Lake?
Toisin kuin tietokanta, joka sisältää strukturoitua tietoa järjestettyinä sarakkeisiin ja riveihin, datajärvi on massiivinen arkisto monille erilaisille tiedoille.
Tallennetut tiedot voivat olla jäsenneltyjä tai jäsentämättömiä. Eli sillä voi olla jäsenneltyjä rivejä ja sarakkeita, tai ei. Tiedot voivat olla merkkijonoja, jotka käyttävät erityistä muotoilua tietojen erottamiseen. Jokainen tietolähde voi lähettää tietoja tietojärvelle missä tahansa muodossa.
Kuvaa tietojärviä kuin massiivinen kirjasto, joka sisältää monia mediamuotoja, kuten kirjoja, mikrokortilla olevia kuvia ja videoita DVD-levyillä.
Kuvittele digitaalisen älykkyyden ja data-analytiikan insinööri kyseisen kirjaston suojelijoina. Nämä asiakassuhteet voivat vetää digitaalisesti tietoja kirjoista, mikrokortista ja DVD-levyiltä ja löytää tapoja sekoittaa ja yhdistää kyseiset tiedot ja oppia asioita siitä, miten data korreloi.
Näistä oppimisista tulee todellinen, toimintakykyinen äly. Jotkut näistä esimerkissämme saattavat sisältää:
- Chatter Twitterissä ja Facebookissa ilmaisee lähestyvän myrskyn New Yorkissa, jossa tuhannet asiakkaat suunnittelevat ostavansa sateenvarjoja.
- Tietokoneevästeiden ostotiedot ja vähittäiskaupan kassakoneet osoittavat, että Kalifornian ostajat ovat valmiita maksamaan enemmän design-sateenvarjoista kuin Virginian ihmiset.
- Suuri lähestyvä myrskykuvio osoittaa, että suurin osa itärannikosta on sateen peitossa koko viikon.
Kaikki nämä opit voisivat saada markkinointitiimin investoimaan enemmän mainontaan maantieteellisesti, missä sateenvarjojen kysyntä on paljon vahvempaa. Valmistustoiminta voi myös siirtää tuotantoprosessinsa lähemmäksi maailmaa, missä myynti todennäköisesti kasvaa.
Tällä tavoin mikä tahansa yritys voi tehostaa markkinointia ja toimintaa big data -tietojen avulla.
Mikä on Hadoop?
Seuraava kysymys on, miten yritykset käsittelevät niin suuria määriä tietoja ja tunnistavat trendejä?
Tällainen tietojen murskaus vaatii valtavia tietokoneresursseja. Niin paljon, että yritykset eivät enää käytä suuria keskusyksiköitä paikan päällä kuten ennen. Monet näistä palveluista ovat nyt ostoksia pilvestä. Pilvidatan tiedustelupalvelut, kuten Apache Hadoop, tarjoavat monia tietokonesolmuja suuressa pilviverkossa. Kukin näistä solmuista lisää prosessointitehoa, jota tarvitaan analysoimaan massiivisia tietovirtoja useista lähteistä.
Tällainen prosessointiteho on kone- tai digitaalisen älykkyyden ja data-analytiikan sydän. Hadoop on ohjelmistokehys, joka saa koko tämän massiivisen laskentatehon verkon toimimaan digitaalisen älyinsinöörien vaatimalla tavalla.
Kun laskennallinen moottori tuottaa käytännöllistä älykkyyttä, ne toimitetaan yleensä yritykselle kojelautojen tai raporttien muodossa.
Big Data ei ole vain Buzzwords
Totuus on, että ”big data” on muutakin kuin pelkkä yrityslingo. Monet yritykset oppivat, että hyödyntämällä tietoja paremmin pystyvät saavuttamaan lukuisia saavutuksia.
- Valmistajat voivat parantaa tuotannon kriittisiä mittareita, kuten tuottoa, laatua ja tehokkuutta.
- Jälleenmyyjät voivat kohdistaa markkinointi-, mainonta- ja yrityssijoitukset paremmin markkinapaikan signaalien perusteella.
- Jakelijat pystyvät ennustamaan mahdolliset toimitusketjun ongelmat ennakoivasti kehittämään valmiussuunnitelmia.
- Uutisjärjestöt voivat nopeasti tunnistaa arvokkaat tapahtumat analysoimalla julkisia signaaleja Internetissä.
- Kyberturvallisuusasiantuntijat käyttävät Internetin signaaleja tunnistaakseen kyberhyökkäykset niiden ollessa käynnissä.
Vaikka suuri osa viime vuosina saavutetuista suurista tiedoista on käytännössä näkymättömää, suurilla tiedoilla on todellakin ollut merkittävä vaikutus ihmisten jokapäiväiseen elämään kaikkialla maailmassa.