Adatbányászat Blog

Az Adatbányász Blogon a dmlab szakértőinek írásait olvashatod a big data és data science területéről.

dmlab.hu - Big data és data science tanácsadás
"Ha örülsz, hogy fejedre nőttek az adatok."

Keress minket bátran:
- Nagy-Rácz István +36704595669
- Gáspár Csaba +36208234154
- info@dmlab.hu

Hírlevél

Iratkozz fel hírlevelünkre, hogy mindig naprakészen tudjunk tájékoztatni.
Feliratkozás
Leiratkozás

 

Címkék

10éves (1) 2007 (1) 2010 (23) 2011 (27) 2012 (13) 2013 (23) 2014 (5) 2015 (6) 2016 (10) 2017 (4) 2018 (4) 2019 (1) adaptív (1) adat- és médiainformatika (1) adatárusítás (1) adatbányászat (11) adatbányászati algoritmusok (1) adatbányászati alkalmazások (2) adatbányászati meetup (1) adatbányászati oktatás (1) adatbányászati technológiák (4) adatelemzés (2) adatelemzési platformok (1) adattárház (5) adattárház fórum (6) adattárolás (1) adattisztítás (1) adatvédelem (2) advise (2) aegon (1) aglitás (1) agy (2) ai (1) AI (3) ajánló (11) ajánlórendszerek (1) aktivitás felismerés (1) algoritmus (1) alkalmazás (3) állásajánlat (1) amazon ec2 (1) ambiens (1) ami (1) amuse (1) analitika (1) analytics (1) andego (3) apache (1) api (2) Arató Bence (3) artificial intelligence (2) bank (1) barabási (2) Barabási (2) beharangazó (1) beharangozó (18) bejelentés (2) belami (1) best practice (9) beszámoló (15) BI (5) Bi (1) bi (13) bi-trek (1) biconsulting (7) bigdata (29) Big Data (3) big data (12) biopen (1) biztosító (1) BI Akadémia (1) bi consulting (1) bi start (1) blockchain (1) blog (6) bme (2) BME (15) bootcamp (1) brainstorming (1) bsp (1) budapest (1) business analytics (1) business analytics szakirány (1) cancer detection (1) churn (2) ci (1) címkefelhő (2) CIO (1) clementine (1) Clementine Consulting (1) cloud computing (2) cognos (1) credit scoring (1) crisp-dm (1) crm (2) Cruncconf (1) crunch (2) csalásdetektálás (1) DataExpert (1) dataexplorer (1) datapest (1) datascience (5) datasource (1) data engineering (1) data mining (1) data science (8) deep learning (1) diplomamunka (1) dmla1o (1) dmlab (15) döntési fák (1) döntéstámogatás (1) drill (1) e-commerce (1) egészségügy (1) előadás (24) előrejelzés (1) élő közvetítés (1) Enbrite.ly (1) energetika (1) esemény (2) esettanulmány (3) ethics (1) etikus (1) etl (2) eu (1) évforduló (3) fejlesztés (2) felmérés (5) felsőoktatás (1) felület (1) felvásárlás (3) film (1) fizetés (1) forecasting (1) forgalomelőrejelzés (2) foursquare (1) fraud detection (1) free (1) freebase (1) gartner (2) gazdasagi informatikus (2) gdpr (1) gépi tanulás (5) gépi tanuló algoritmus (1) google (8) google analytics (1) graphlab (1) gravity (3) greenplum (1) gyakorlat (1) hackhaton (1) hadoop (10) hallgatók (2) hálózatelemzés (3) hálózatkutatás (2) hálózatok (3) hazai (2) hiba (4) hírlevél (2) hive (1) honlap (1) HR (1) HVG (1) i5 (1) ibm (6) ibm modeler (1) ibm spss (3) icdm (1) idc (2) idősor (1) idősorok (1) ieee (1) iir (1) image processing (1) impact (1) infobright (1) információbróker (1) innováció (5) innovatívBI (1) innovativ bi (4) inspiráció (1) intelligencia (2) interjú (1) Internet Hungary (1) iqsymposium (19) iqsys (16) iroda (4) jelentkezés (2) jmp (2) job (1) kaggle (2) kampánymenedzsment (1) kapcsolati hálók (1) karrier (1) kdd (3) kdnuggets (2) képfeldolgozás (1) képzés (6) kérdés (2) kérdőív (1) kerekasztal (1) keresés (1) kereső (1) keresztvalidáció (4) kína (1) klaszterezés (2) knime (1) kockázati tőke (1) kollaboratív munka (1) kompetencia (1) konferencia (73) könyv (6) környezet (1) közlekedés (1) közösség (2) közösségi hálózatok (4) közvetítés (6) kritika (1) küldetés (1) kürt akadémia (1) kutatás (2) lemorzsolódás (1) licensz (1) live (1) logisztika (2) machine learning (3) magyar telekom (2) mahout (1) mapreduce (1) marketplace (1) média (2) meetup (11) mellékspecializáció (1) mém (3) memóriacentrikus (1) menedzsment (3) metaadat (1) metodika (2) microsoft (1) mobil (5) mobil bi (4) modeler (2) modell (3) morgan stanley (1) motion chart (1) munkaerő (2) mysql (1) mytraffic (4) nemzetközi (5) nemzetközi összehasonlítás (1) netflix prize (1) networking (1) next big thing (1) nips (1) nosql (1) nyílt forráskód (4) nyitott (1) nyomkövetés (1) offline áruházak (1) okostelefon (1) oktatás (24) olvasók (1) online áruházak (1) online kutatás (1) open source (19) open source bi (3) operatorfa (1) osbi (12) összehasonlítás (1) ötletek (2) pandas (2) paradoxon (1) pascal (1) pentaho (1) personal data mining (1) phd (2) philips (1) piac (3) pikk (1) pilot (1) PISA-felmérés (1) pmml (1) politika (2) powerpivot (1) prága (1) praktiker (1) prediktív analitika (2) prediktív analitka (1) prediktiv modellezés (5) prediktív modellezés (1) prezi (15) privacy (1) privacy preserving data mining (1) product management (1) projekt (1) projektmenedzsment (6) publikáció (1) python (10) pytorch (1) radoop (12) random forest (1) rapid-i (2) rapidanalytics (7) rapidminer (41) RapidMiner (2) rcomm (7) refine (1) reinforce (1) Rexer Analytics (1) rsctc (1) R nyelv (7) saas (1) sap (1) SAS (20) sas enterprise miner (2) sas enterpris guide (1) sas entprise miner (1) sas fórum (1) sas forum (3) siker (3) simptech (1) sixtep (2) smarthabits (1) spike sorting (1) sportanalitika (1) SPSS (3) spss (13) spss clementine (3) spss hungary (5) spss modeler (6) ssd (1) starschema (2) startup (9) statisztika (1) survey (1) svm (1) szabad szoftver (1) szakmai (1) szavazó eljárások (2) szélenergia (1) szélerőmű (1) szervezetfejlesztés (2) szociális hálók (1) szoftver (5) szöveg (1) szövegbányászat (2) sztaki (2) tableau (1) talend (2) támogatás (1) tanfolyam (1) tanulmány (1) tanulság (1) távolság (1) technológia (1) tedx (1) telekommunikáció (2) tensorflow (1) teradata (2) teszt (1) text mining (1) tmit (6) toborzás (1) tőzsdei előrejelzés (1) tracking (1) trendek (9) tudományos (1) tunedit (1) twitter (17) ügyfél (1) usa (1) üzleti intelligencia (3) üzleti modell (3) üzleti reggeli (4) választható tárgy (1) validáció (4) válogatás (1) válság (1) változás (1) vélemény (1) véleméy (1) verseny (20) vezetői képzés (1) videó (3) vizualizáció (5) web (4) web2 (2) webanalitika (3) webshop (1) weka (2) wikipedia (2) workshop (2) yahoo (2) Címkefelhő

TWitter a csapat tagjaitól

2019.04.04. 15:43 BKitti

Hol buknak el a big data projektek?

big_data_fail.jpg

Nem az adattisztításon. Nem a technológiai akadályokon. Nem a finanszírozás hiánya miatt, és nem is azért, mert az adatkörökben nem található válasz az üzleti problémákra. A legtöbb big data projekt buktatója az emberi tényező. 

11 éve dolgozunk az adatiparban. 11 év alatt több 100 projektet terveztünk meg, készítettünk el, és implementáltunk. Ebben a 11 évben jó néhány projektet láttunk elbukni.

A Gartner felmérése szerint az adatprojektek 60%-a elbukik, ugyanis ahhoz, hogy sikerre vigyük, nem elég kiválasztani a megfelelő eszközöket, és technológiákat, arra is szükség van, hogy a vállalati kultúrában, és gondolkodásmódban is változások történjenek, és kreatívan keressük a siker felé vezető utakat. 

Íme a leggyakoribb problémák: 

1. Senki sem tudja mit jelent az adat 

Számokat látunk, de amikor elkezdünk mögéjük nézni, kiderül, hogy nem jelentenek semmit. A különböző divíziók mást értenek például ügyfél alatt. Meglepő, de multinacionális cégek gyakran arra az egyszerű kérdésre sem tudják a választ, hogy hány ügyfelük van. Ha sikerül a definícióban egyetértésre jutni, akkor a következő kérdés, hogy honnan van az adat? Számoltuk? Mértük? Ki számolta? Ki mérte? Mi alapján kerültek a számok az adathalmazba? 

2. Senkinek nem érdeke, hogy választ kapjon a kérdéseire

A big data projekt akkor tud megtérülni, ha valódi kérdésekre keresünk valódi válaszokat, és az alapján a működést szeretnénk optimalizálni. Minél nagyobb egy szervezet, annál sokrétűbb az érdekek hálója, és annál nagyobb a valószínűsége, hogy megjelenik az adatirigység. Az egyes részlegek nem szívesen adják oda az adataikat a másik részlegeknek, és ennek többféle oka is lehet: vagy azért, mert nem szeretnének kérdéseket kapni és magyarázkodni, vagy azért, mert úgy gondolják a hatalom biztosításának a kulcsa az adatvagyon birtoklása. A data scientist ezekben a helyzetekben könnyen válhat a csapatokat összekovácsoló közös ellenséggé. Túl sokat kérdez, túl sokat akar tudni, és ez már önmagában kihívást jelent a vállalati kultúrának, és sokakban fenyegetettség érzést vált ki - melyik főnök küldte ezt ide, és miért? 

3. Bizalom hiánya

A legtöbb ember jobban bízik az intuícióban, mint az adatban, és erre jó oka van: kutatások szerint az, hogy megbánunk-e egy döntést nem azon múlik, hogy a döntés jó volt, vagy rossz, hanem azon, hogy mi alapján hoztuk. Bármilyen rossz döntést is hozzunk az intuíciók alapján, kisebb valószínűséggel bánjuk meg, mint azt a rossz döntést, amit az intuícióink ellenében hozunk. Így történhet, hogy amikor az adat ellentmond az intuíciónak, az adatban keressük a hibát. Nem lehet, hogy ezt a cikket ilyen kevesen olvassátok, hát olyan jól megírtuk! Biztos elromlott az analytics. Kizárt dolog, hogy gyorshajtottam, biztosan mérési hiba. Nem lehet, hogy rosszabbul teljesítek, hát sokkal többet dolgozom! Ismerősek ezek a gondolatok? Éppúgy részei a cégkultúrának, ahogy a mindennapjainknak. Ha nem bízunk az adatokban, akkor hiába elemezzük őket. Ez vezet a következő ponthoz. 

4. Nem születnek az adatok alapján döntések

Ennek több oka is lehet, az előbb említett bizalmon kívül. Előfordulhat, hogy az adatok rámutatnak, hogy a veszteségünk egy olyan egységben keletkezik, ami felújításra szorulna, erre azonban nincs anyagi forrás. Lehetséges, hogy egy döntés meghozásának jogi akadálya van, vagy éppen nem áll rendelkezésre a szükséges humánerőforrás, vagy akár vállalati szabályozásokba ütközne az adott döntés meghozása. Az ilyen esetek azok, amik elveszik a csapat kedvét attól, hogy az adatvezérelt működés magasabb fokára lépjen. Minek mérjük, ha úgysem csinálunk vele semmit? Miért kellett ezt kielemezni, hiszen mindannyian tudtuk? 

5. Rossz a kérdés, amire keressük a választ

Az adatprojekt ideális esetben úgy születik, hogy van egy üzleti kérdésünk, és azt feltételezzük, hogy benne van az adott adatkörben a válasz a kérdésünkre. Ilyenkor elindul egy együttműködést, amiben megvizsgáljuk az adatkört, és megnézzük, hogy valóban van-e benne válasz. Gyakran azonban fordítva ülünk a lovon. Azt látjuk, hogy az amazon szervereinket folyamatosan bővítenünk kell, egyre több az adat ami felhalmozódik, és azon kezdünk el gondolkodni, hogy mire használjuk fel ezt a rengeteg adatot. Születnek persze sikeres projektek így is, de sokkal több esélyünk van valódi megtérülésre akkor, ha egy létező üzleti problémára keressük a választ, és arra törekszünk, hogy olyan kérdést tegyünk fel, amire ha kapunk egy választ, az alapján képes lesz a szervezet változást elérni. 

6. Túl nagy elvárásokkal futottunk neki

Az adat az új olaj, nemde? Ha ma elkezdünk bányászni, holnap megjelenik az üzleti eredményeinkben. Biztosan van itt 20%-nyi veszteség, amit minimalizálhatunk, biztosan van itt még 20% profit, csak nem tudjuk pontosan hol. Kezdjünk bele egy big data projektbe, és máris két lépéssel a versenytársaink elé kerültünk, miénk a piacvezető szerep. Óriási lendülettel vetjük bele magunkat, az illetékes manager már az előléptetésről álmodik, aztán kiderül, hogy az összes adatot rosszul tároltuk, és technikailag lehetetlen bármit kezdeni vele. Vagy éppen az, hogy semmilyen összefüggést nem lehet feltárni az egyes mutatók között. Vagy egyszerűen előjön a a fent említett 5 probléma valamelyike. 

7. Hiányoznak a kompetenciák a szervezetből

Ennek is több oka van, melyek közül a forráshiány, és az adattudás költsége csak egy. Az álláshirdetések data scientistje nem létezik. Az adat projekthez ugyanis mély domain ismeret szükséges, az üzleti működés értése, és szükség esetén képesség a változtatásra, és mindemellett diverz technológiai tudás is elengedhetetlen. Különféle területeknek kell együttműködniük annak érdekében, hogy az implementáció után valódi értéket termelhessen a projekt a vállalatnak. 

Ha szeretnél többet tudni arról, hogy hogyan kerülheted el ezeket a buktatókat, olvasd el az alábbi cikkeinket is: 

Milyen lépések mentén tudod bevezetni a céged a big data világába? 

A lendület megszerzése

 

powered by Typeform

Szólj hozzá!

A bejegyzés trackback címe:

https://adatbanyaszat.blog.hu/api/trackback/id/tr8014625484

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.