Adatbányászat Blog

Az Adatbányász Blogon a dmlab szakértőinek írásait olvashatod a big data és data science területéről.

dmlab.hu - Big data és data science tanácsadás
"Ha örülsz, hogy fejedre nőttek az adatok."

Keress minket bátran:
- Nagy-Rácz István +36704595669
- Gáspár Csaba +36208234154
- info@dmlab.hu

Hírlevél

Iratkozz fel hírlevelünkre, hogy mindig naprakészen tudjunk tájékoztatni.
Feliratkozás
Leiratkozás

Címkék

10éves (1) 2007 (1) 2010 (23) 2011 (27) 2012 (13) 2013 (23) 2014 (5) 2015 (6) 2016 (10) 2017 (3) adaptív (1) adat- és médiainformatika (1) adatárusítás (1) adatbányászat (10) adatbányászati algoritmusok (1) adatbányászati alkalmazások (2) adatbányászati meetup (1) adatbányászati oktatás (1) adatbányászati technológiák (4) adatelemzés (1) adatelemzési platformok (1) adattárház (5) adattárház fórum (6) adattárolás (1) adattisztítás (1) adatvédelem (2) advise (2) aegon (1) aglitás (1) agy (2) ajánló (11) ajánlórendszerek (1) aktivitás felismerés (1) algoritmus (1) alkalmazás (3) állásajánlat (1) amazon ec2 (1) ambiens (1) ami (1) analitika (1) analytics (1) andego (3) apache (1) api (2) Arató Bence (3) bank (1) Barabási (2) barabási (2) beharangazó (1) beharangozó (18) bejelentés (2) belami (1) best practice (9) beszámoló (14) Bi (1) BI (3) bi (13) bi-trek (1) biconsulting (7) bigdata (21) Big Data (2) big data (5) biopen (1) biztosító (1) BI Akadémia (1) bi consulting (1) bi start (1) blog (5) BME (14) bme (1) bootcamp (1) brainstorming (1) bsp (1) budapest (1) business analytics (1) business analytics szakirány (1) churn (2) ci (1) címkefelhő (2) CIO (1) clementine (1) Clementine Consulting (1) cloud computing (2) cognos (1) credit scoring (1) crisp-dm (1) crm (2) csalásdetektálás (1) DataExpert (1) dataexplorer (1) datapest (1) data mining (1) data science (5) diplomamunka (1) dmla1o (1) dmlab (12) döntési fák (1) drill (1) e-commerce (1) előadás (21) előrejelzés (1) élő közvetítés (1) Enbrite.ly (1) energetika (1) esemény (2) esettanulmány (3) etikus (1) etl (2) évforduló (2) fejlesztés (2) felmérés (5) felsőoktatás (1) felület (1) felvásárlás (3) film (1) fizetés (1) forecasting (1) forgalomelőrejelzés (2) foursquare (1) fraud detection (1) freebase (1) gartner (2) gazdasagi informatikus (2) gépi tanulás (4) google (8) google analytics (1) graphlab (1) gravity (3) greenplum (1) gyakorlat (1) hadoop (10) hallgatók (2) hálózatelemzés (3) hálózatkutatás (2) hálózatok (3) hazai (2) hiba (4) hírlevél (2) hive (1) honlap (1) HR (1) HVG (1) i5 (1) ibm (6) ibm modeler (1) ibm spss (3) icdm (1) idc (2) idősor (1) idősorok (1) ieee (1) iir (1) infobright (1) információbróker (1) innováció (5) innovatívBI (1) innovativ bi (4) inspiráció (1) intelligencia (2) Internet Hungary (1) iqsymposium (19) iqsys (16) iroda (4) jelentkezés (1) jmp (2) kaggle (2) kampánymenedzsment (1) kapcsolati hálók (1) karrier (1) kdd (3) kdnuggets (2) képzés (4) kérdés (1) kérdőív (1) kerekasztal (1) keresés (1) kereső (1) keresztvalidáció (4) klaszterezés (2) knime (1) kockázati tőke (1) kollaboratív munka (1) kompetencia (1) konferencia (70) könyv (6) környezet (1) közlekedés (1) közösség (2) közösségi hálózatok (4) közvetítés (6) kritika (1) küldetés (1) kürt akadémia (1) kutatás (2) lemorzsolódás (1) licensz (1) live (1) logisztika (1) magyar telekom (2) mahout (1) mapreduce (1) marketplace (1) média (2) meetup (11) mellékspecializáció (1) mém (3) memóriacentrikus (1) menedzsment (3) metaadat (1) metodika (1) microsoft (1) mobil (5) mobil bi (4) modeler (2) modell (3) morgan stanley (1) motion chart (1) munkaerő (1) mysql (1) mytraffic (4) nemzetközi (5) nemzetközi összehasonlítás (1) netflix prize (1) networking (1) next big thing (1) nips (1) nosql (1) nyílt forráskód (4) nyomkövetés (1) offline áruházak (1) okostelefon (1) oktatás (22) olvasók (1) online áruházak (1) online kutatás (1) open source (19) open source bi (3) operatorfa (1) osbi (12) összehasonlítás (1) ötletek (2) pandas (2) paradoxon (1) pascal (1) pentaho (1) personal data mining (1) phd (2) philips (1) piac (3) pikk (1) pilot (1) PISA-felmérés (1) pmml (1) politika (2) powerpivot (1) prága (1) praktiker (1) prediktív analitika (2) prediktív analitka (1) prediktív modellezés (1) prediktiv modellezés (5) prezi (15) privacy (1) privacy preserving data mining (1) projekt (1) projektmenedzsment (4) publikáció (1) python (9) radoop (12) random forest (1) rapid-i (2) rapidanalytics (7) rapidminer (40) RapidMiner (2) rcomm (7) refine (1) Rexer Analytics (1) rsctc (1) R nyelv (7) saas (1) sap (1) SAS (20) sas enterprise miner (2) sas enterpris guide (1) sas entprise miner (1) sas fórum (1) sas forum (3) siker (3) simptech (1) sixtep (2) smarthabits (1) spike sorting (1) sportanalitika (1) SPSS (3) spss (13) spss clementine (3) spss hungary (5) spss modeler (6) ssd (1) starschema (2) startup (9) statisztika (1) survey (1) svm (1) szabad szoftver (1) szakmai (1) szavazó eljárások (2) szélenergia (1) szélerőmű (1) szervezetfejlesztés (1) szociális hálók (1) szoftver (5) szöveg (1) szövegbányászat (2) sztaki (2) tableau (1) talend (2) támogatás (1) tanulmány (1) tanulság (1) távolság (1) technológia (1) tedx (1) telekommunikáció (2) teradata (2) teszt (1) text mining (1) tmit (5) toborzás (1) tőzsdei előrejelzés (1) tracking (1) trendek (8) tudományos (1) tunedit (1) twitter (17) ügyfél (1) üzleti intelligencia (3) üzleti modell (3) üzleti reggeli (3) validáció (4) válogatás (1) válság (1) változás (1) vélemény (1) véleméy (1) verseny (20) vezetői képzés (1) videó (3) vizualizáció (5) web (4) web2 (2) webanalitika (3) webshop (1) weka (2) wikipedia (2) workshop (1) yahoo (2) Címkefelhő

TWitter a csapat tagjaitól

2014.01.22. 22:43 Gáspár Csaba

2013 - Ami tényleg történt - A nagy változás

Címkék: változás paradoxon 2013 bigdata big data Bi

Big data. Sokat olvashattunk, hallhattunk róla, és akárhogy nézzük, 2013 erről a technológiáról, jelenségről szólt. Hogy mennyire berobbant tavaly ez a szópár, százféle módon bizonyítható, most csak egyet ragadnék ki. Az alábbi ábrán az látható, hogy a Google Trends hogyan mérte az elmúlt években az "business intelligence" (kék), a "cloud computing" (sárga), és a "big data" (piros) szavakat. 

Screen Shot 2014-01-16 at 9.24.25 PM.png

Részletes elemzést a Google Trend ezen linkjén láthatod


A big data térnyerése egyértelmű, de ne álljunk itt meg. Egy olyan gondolatot, mémet szeretnék itt bemutatni nektek, melyre az elmúlt hetekben jöttem rá, és ami alapjaiban változtatta meg a szemléletemet nemcsak a big data világával kapcsolatban. A blog több mint 6 éves fennállásának legfontosabb üzenetének tartom ma ezt a gondolatot - izgulok is, mennyire tudom ezt röviden megfogalmazni, illetve mi lesz róla a véleményetek.

Gondolatmenetemet egy látszólag lényegtelen észrevétellel kezdem: egyre több helyen hallani, olvasni arról, hogy a szakmai közösség vitatkozik arról, hogy mit jelent a "big data". Gondolom nektek is megvan a saját verziótok, sokat hallottunk már, mégis érdekes kérdés, miért vitatkozunk még ezen ennyit, miért nincs konszenzus. Véleményem szerint a megegyezés hiányát egy paradoxonnak köszönhetjük, aminek megértése, feloldása után teljesen máshogy fogunk akár az egész szakmánkra tekinteni.

A paradoxont az adja, hogy a Hadoop és más kapcsolódó technológia megjelenésével az üzleti intelligencia, a BI egy új, gyorsan fejlődő technológiai megoldásegyütteshez jutott. Az adatelemzéssel, adatkezeléssel foglalkozó szakemberek számára így elég gyorsan körvonalazódott, hogy milyen esetekben érdemes használni ezeket a megoldásokat, mikor érdemes egy-egy big data technológiát bevetni, így joggal érezhettük úgy, hogy a big data valójában a BI egy gyorsan fejlődő részének tekinthető. Azt hiszem 2011-ig szerintem ezzel lényegében senki sem szállt volna vitába.

A tavalyi év során azonban a technológiai robbanáson túl publicitási robbanás is történt. A big data hulláma kitört a szakmai berkek közül, és elérte a mainstreamet, a hétköznapok médiáját. Gondoljunk csak bele, hogy nincs olyan hét, mikor nem olvasunk néhány big data témájú cikket a HVG-n, az Indexen, vagy más újságokban. Rádióknak adunk interjúkat, a technológiai fejlődést taglaló bárminemű hírnek kötelező eleme már a big data. Korábban ha ismeretlenek között beszéltünk arról, hogy adatbányászok, adatelemzők vagyunk, furcsa szakembereknek néztek az idegenek, ma egyre gyakrabban gyúl világosság a szemükben néhány mondat után, majd csak ennyit mondanak: "Ja igen, big data".

big_data_paradoxon_2014__radoop.jpgA közgondolkodásba való betörése miatt azonban a big data elvesztette minden eredeti technológiai aspektusát, a hétköznap emberének annyit tesz: céljaink elérése érdekében sok-sok adatot feldolgozni. Tovább megyek: a nyilvánosságba való beépülésből származó letisztulási folyamatban a big data elhagyta a sok ügyféllel rendelkező nagyvállalatokra vonatkozó exkluzivítását is, ennek megfelelően szélesebb területet ölel fel ma a nyilvánosság big data fogalma, mint a klasszikusnak mondható "üzleti intelligencia" világa. Big data alá sokkal természetesebb módon tartozik az egészségügyi, sport és fitness adatok feldolgozása, az ipari gyártósorok és az energetika adatainak kiaknázásaának lehetősége. A korábbi adattárház-riporting-OLAP-adatbányászat világból kilógva, gyakran ad-hoc módon, technológiától és komplexitástól függetlenül mindenfajta adatelemzést jelent ma a "big data" sok százmillió embernek, függetlenül attól, hogy mit gondol, mit tanult, vagy mit vall erről néhány százezer szakértő. 

A közgondolkodás természetesen visszahat a szakmai közegre is. Talán mindannyian emlékszünk kínos pillanatokra, mikor egy-egy hazai konferencián az előadó big data megoldásnak nevezte saját rendszerét, miközben technológiailag semmi olyat nem tartalmazott, aminek köze lenne ehhez a körhöz. Én is gyakran a fanyalgók között voltam, megvallom. De ahogy az elmúlt hónapokban többet volt időm olvasni a nemzetközi szakmai közösség írásait, rá kellett jönnöm az általánosabb megfogalmazás létjogosultságára is.

Egy szó mint száz: 2013-ra a big data nagyobb, átfogóbb fogalom, aminek csak részterülete a BI. Aki nem hisz ennek az állításnak, az javaslom nézze meg hány big data konferencia indult az elmúlt években, de az is árulkodó hogy egy normál BI témánál mennyivel többen mozdulnak meg egy hazai meetup alkalomra is, ha a big data témája jön elő. Csupa új arc, kiket a BI alig érintett meg korábban.

A BI területénél nagyobb big data világ kihívásai nagyon mások, mint amit a BI korábban hozott. Nem lesz sokra elég, ha a hagyományosnak mondható szemléletben vagyunk képesek működni, ha ehhez a kiugróan nagy kihíváshoz nem növünk fel, nem változunk meg. Aki nem gondolja újra önmagát, az egy olyan társkereső-társközvetítő iroda vezetőjéhez fog hasonlítani, aki azt gondolta tíz évvel ezelőtt, hogy az internet nem lesz képes megszorongatni az ő személyes tanácsadásra alapozott, világ végezetéig piaccal rendelkező bizniszét.

Mennyiben lesz más 2014-ben adatbányászattal, adatelemzéssel, big datával foglalkozni, mint 2013-ban? Erről írok majd a következő posztban.

9 komment

A bejegyzés trackback címe:

http://adatbanyaszat.blog.hu/api/trackback/id/tr235761870

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben.

kereso · http://kereses.blog.hu 2014.01.23. 10:21:19

Egyetértek, valóban fontos változás, hogy kilépett az adatbányászat kérdése a mindennapok fogalmi világába. Amit hozzátennék, hogy hozadéka lesz ennek, hogy olyan emberek kezdtek el gondolkozni ezzel adatokkal megoldható kérdéseken, akik korábban nem igazán, és ez hosszabb távon vezethet egy innováció robbanáshoz. Különösen ha a big data eszközei kiforrottá és könnyen kezelhetőkké válnak.

Gáspár Csaba 2014.01.23. 10:53:46

@kereso: Igen, szerintem is ezt a hatást fogja hozni. Szerintem a kihívás nem technológiai lesz elsősorban, hiszen a sok új, az adatai feldolgozásán gondolkodó szereplő sok esetben technológiailag könnyen megoldható feladatra talál. Az átlag adatelemzési projekt szerintem egyre egyszerűbb lesz. Erre még nincs felkészülve a szakma, az biztos.

értetlenkedő 2014.01.24. 09:58:06

Én egy másik hozadéknak örülök a sebesség és új gondolkodók bekapcsolódása mellett. Ez a technológia végre a teljes adatkört elérhetővé teszi és nem kell a mintavételezéssel vacakolni, hogy mi is kerüljön a DW-be, hogy azután igazán elemezhessünk. Ha véletlen meg egy új szempontot szeretnék, akkor az IT a fejemre koppint és gátat emel.
Most megforgatom a teljes állományt így biztos kézzel specifikálhatom a DW-n a piacomat illetve már nem is a sajátomat – mert sokszor már nem is kell- , hanem az utómunkásokét 
Remélem az IT is ürül, hogy szűkül a DW és nem tragédiaként éli meg, hanem nyit a HPC-re és átül egy új székbe. 

Gáspár Csaba 2014.01.24. 10:44:47

@értetlenkedő: Szerintem a nagy cégek IT csapata ennek a változásnak nem hiszem hogy örülne. Kialakult egy IT - üzlet viszony arra, hogyan kezeljük az adatokat, ami jól-rosszul működött. Az új világban a két pont közé be kellene ültetni egy data science munkát végző kollégát. Ez egy IT-s lesz? Vagy az üzlet veszi fel?

Mit szól az IT, hogy sok éve sok pénzen karbantartott rendszereket akarunk majd villámgyorsan kiváltani. A nyers adatokban láthatók lesznek a hibák, az átállások. Sokkal mélyebbre fog látni egy adhoc elemző eszköz felett ülő ember, aki az alap nyers adatokon dolgozik. A DW nagyvolt, szép volt, és mindent eltakart az üzlet elöl.

Nyilvánvaló, hogy az új világ hatalmas kihívást jelent majd szakemberállomány szempontjából is. Az egyetemről egyre több témában jártas szakember jön majd ki, de big data jelenség nélkül is állandó emberhiányban van a teljes IT szakma. Ha újoncokat nem lehet fevenni, akkor mikor fog megváltozni a régi bevált kollégák szakmai tudása, hozzáállása ehhez a világhoz? Honnan lehet ezt tanulni? Kinek lesz kedve ilyet tanulni - a hazai szakembergárda nem szívesen jár képzésekre, vagy nehezen találja meg azokat az oktatási formákat, amiben szívesen tanulna.

Ez a változás sokaknak lehetőség, és sokaknak frusztráció lesz. Szerintem 3-4 év múlva nagyon jól fogjuk látni, hogy milyen stratégia mentén oldja meg a gondot a szakba. Én a pozitivista szemléletemmel azt gondolom, hogy a hazai közösség venni fogja az akadályt és marad szemléletében nemzetközi szinten is kiemelkedően jó ebben a témában.

értetlenkedő 2014.01.24. 14:08:24

@Gáspár Csaba:
én is ezt várom, hogy mozduljanak nem azt hogy kikopjanak! Szerintem tanulnának, de néz körbe, az első az oktatási keret amit lehúznak! Majd megtanulod munka mellett a netről. Pedig én vallom, hogy egy 2-3 napos aktív kurzus egy hermetikusan elzárt, munkakörnyezetből kiszakított helyen már az oktatás másnapján megtérül és valóban több munka fér bele ugyan abba az időbe, mert értesz hozzá! :-)

Mellesleg bátran használod a szavakat: ' villámgyorsan kiváltani' ezt tuti azonnali támadásnak veszik és millió tüskét eresztenek. Szerintem első körben már egy csendes együttélés jobbnak hangzik, azaz új projekteket az új világba kezdjük és a régibe már ne képezzük le. A régi DW részei meg folyamatosan az elavulásuknak megfelelően átkerülnek. A legtöbb projekt ebbe fullad bele, hogy mindig mindent azonnal át akar tenni az újba. Felesleges, túl sok idő és mindenki későn profitál belőle és sok haragost szül! - szerintem

Bízzunk egy gördülékeny átállásban, fantasztikus erő rejlik benne. Imádok vele dolgozni és végre sokaknak az analitika pilóta vizsga nélkül is elérhető, elég a feladatra koncentrálni. azaz 1. comment

ui: elég érdekes számomra,hogy a face-es accountommal léptem be és ezt az "értetlenkedő" megnevezést adta. Érthetetlen!:-)

Gáspár Csaba 2014.01.24. 15:52:00

@értetlenkedő: Hasonlóan gondolkodunk a váltás folyamatáról. A technológia változásánál jóval lassabban változnak a hozzáállások, így mindenképpen lassabb átmenet lesz.

Az érthetetlen jelenségre csak suta magyarázataink vannak. Viszont kíváncsiak vagyunk, milyen néven futottál volna szívesen a kommentek között, hiszen általában a legtöbb kommentelőnket ismerjük személyesen is. Lehet hogy téged is?

értetlenkedő 2014.01.24. 20:32:32

Szabó Nadett, esetleg. Nekem talán a neved ismerős, de magam sok évet kihagytam. Csak mostanában kezdek újra alámerülni. Talán egy meetup-ra egyszer eljutok majd :-)

Gáspár Csaba 2014.01.24. 23:39:48

@értetlenkedő: Csuda jó meetupok vannak, érdemes eljönni egyszer. Az ilyen közös gondolkodásnak ott gyakran jó terepet lehet találni, ha korábban érkezik az ember, vagy tovább marad, mint ahogy az előadások tartanak.

Zolifu 2014.04.14. 10:53:57

Hello,

számomra a Big Data-nak van egy aspektusa, ami nem is a mérethez inkább a felhasználási módszerhez kapcsolódik amit a Google Flu Trends esete talán jól illusztrál: www.ft.com/cms/s/2/21a6e7d8-b479-11e3-a09a-00144feabdc0.html#axzz2yJtFio8e

Ilyenkor a Big Data egy black-box vezérlő ami a múltbeli tapasztalatokat vetíti előre bármilyen prekoncepció felhasználása nélkül. A technológia olyan adatmennyiséget képes feldolgozni, hogy az adatok előválogatása során sem kell prekoncepciót alkalmazni.

A BI célja mindig egy prekoncepció felállítása/igazolása. A jelenségek közti kauzalitás feltárása és ezek alkalmazása egy vezérlő rendszerben.

A Big Data lehet kauzalitás nélküli vezérlő -amire 2013-tól a hype irányul - de pont a Google Flu esete mutatja ez mennyire sérülékeny rendszereket eredményez.