Adatbányászat Blog

Az Adatbányász Blogon a dmlab szakértőinek írásait olvashatod a big data és data science területéről.

dmlab.hu - Big data és data science tanácsadás
"Ha örülsz, hogy fejedre nőttek az adatok."

Keress minket bátran:
- Nagy-Rácz István +36704595669
- Gáspár Csaba +36208234154
- info@dmlab.hu

Hírlevél

Iratkozz fel hírlevelünkre, hogy mindig naprakészen tudjunk tájékoztatni.
Feliratkozás
Leiratkozás

 

Címkék

10éves (1) 2007 (1) 2010 (23) 2011 (27) 2012 (13) 2013 (23) 2014 (5) 2015 (6) 2016 (10) 2017 (4) 2018 (4) 2019 (1) adaptív (1) adat- és médiainformatika (1) adatárusítás (1) adatbányászat (11) adatbányászati algoritmusok (1) adatbányászati alkalmazások (2) adatbányászati meetup (1) adatbányászati oktatás (1) adatbányászati technológiák (4) adatelemzés (2) adatelemzési platformok (1) adattárház (5) adattárház fórum (6) adattárolás (1) adattisztítás (1) adatvédelem (2) advise (2) aegon (1) aglitás (1) agy (2) ai (1) AI (3) ajánló (11) ajánlórendszerek (1) aktivitás felismerés (1) algoritmus (1) alkalmazás (3) állásajánlat (1) amazon ec2 (1) ambiens (1) ami (1) amuse (1) analitika (1) analytics (1) andego (3) apache (1) api (2) Arató Bence (3) artificial intelligence (2) bank (1) Barabási (2) barabási (2) beharangazó (1) beharangozó (18) bejelentés (2) belami (1) best practice (9) beszámoló (15) Bi (1) bi (13) BI (5) bi-trek (1) biconsulting (7) bigdata (29) Big Data (3) big data (12) biopen (1) biztosító (1) BI Akadémia (1) bi consulting (1) bi start (1) blockchain (1) blog (6) bme (2) BME (15) bootcamp (1) brainstorming (1) bsp (1) budapest (1) business analytics (1) business analytics szakirány (1) cancer detection (1) churn (2) ci (1) címkefelhő (2) CIO (1) clementine (1) Clementine Consulting (1) cloud computing (2) cognos (1) credit scoring (1) crisp-dm (1) crm (2) Cruncconf (1) crunch (2) csalásdetektálás (1) DataExpert (1) dataexplorer (1) datapest (1) datascience (5) datasource (1) data engineering (1) data mining (1) data science (8) deep learning (1) diplomamunka (1) dmla1o (1) dmlab (15) döntési fák (1) döntéstámogatás (1) drill (1) e-commerce (1) egészségügy (1) előadás (24) előrejelzés (1) élő közvetítés (1) Enbrite.ly (1) energetika (1) esemény (2) esettanulmány (3) ethics (1) etikus (1) etl (2) eu (1) évforduló (3) fejlesztés (2) felmérés (5) felsőoktatás (1) felület (1) felvásárlás (3) film (1) fizetés (1) forecasting (1) forgalomelőrejelzés (2) foursquare (1) fraud detection (1) free (1) freebase (1) gartner (2) gazdasagi informatikus (2) gdpr (1) gépi tanulás (5) gépi tanuló algoritmus (1) google (8) google analytics (1) graphlab (1) gravity (3) greenplum (1) gyakorlat (1) hackhaton (1) hadoop (10) hallgatók (2) hálózatelemzés (3) hálózatkutatás (2) hálózatok (3) hazai (2) hiba (4) hírlevél (2) hive (1) honlap (1) HR (1) HVG (1) i5 (1) ibm (6) ibm modeler (1) ibm spss (3) icdm (1) idc (2) idősor (1) idősorok (1) ieee (1) iir (1) image processing (1) impact (1) infobright (1) információbróker (1) innováció (5) innovatívBI (1) innovativ bi (4) inspiráció (1) intelligencia (2) interjú (1) Internet Hungary (1) iqsymposium (19) iqsys (16) iroda (4) jelentkezés (2) jmp (2) job (1) kaggle (2) kampánymenedzsment (1) kapcsolati hálók (1) karrier (1) kdd (3) kdnuggets (2) képfeldolgozás (1) képzés (6) kérdés (2) kérdőív (1) kerekasztal (1) keresés (1) kereső (1) keresztvalidáció (4) kína (1) klaszterezés (2) knime (1) kockázati tőke (1) kollaboratív munka (1) kompetencia (1) konferencia (73) könyv (6) környezet (1) közlekedés (1) közösség (2) közösségi hálózatok (4) közvetítés (6) kritika (1) küldetés (1) kürt akadémia (1) kutatás (2) lemorzsolódás (1) licensz (1) live (1) logisztika (2) machine learning (3) magyar telekom (2) mahout (1) mapreduce (1) marketplace (1) média (2) meetup (11) mellékspecializáció (1) mém (3) memóriacentrikus (1) menedzsment (3) metaadat (1) metodika (2) microsoft (1) mobil (5) mobil bi (4) modeler (2) modell (3) morgan stanley (1) motion chart (1) munkaerő (2) mysql (1) mytraffic (4) nemzetközi (5) nemzetközi összehasonlítás (1) netflix prize (1) networking (1) next big thing (1) nips (1) nosql (1) nyílt forráskód (4) nyitott (1) nyomkövetés (1) offline áruházak (1) okostelefon (1) oktatás (24) olvasók (1) online áruházak (1) online kutatás (1) open source (19) open source bi (3) operatorfa (1) osbi (12) összehasonlítás (1) ötletek (2) pandas (2) paradoxon (1) pascal (1) pentaho (1) personal data mining (1) phd (2) philips (1) piac (3) pikk (1) pilot (1) PISA-felmérés (1) pmml (1) politika (2) powerpivot (1) prága (1) praktiker (1) prediktív analitika (2) prediktív analitka (1) prediktiv modellezés (5) prediktív modellezés (1) prezi (15) privacy (1) privacy preserving data mining (1) product management (1) projekt (1) projektmenedzsment (6) publikáció (1) python (10) pytorch (1) radoop (12) random forest (1) rapid-i (2) rapidanalytics (7) RapidMiner (2) rapidminer (41) rcomm (7) refine (1) reinforce (1) Rexer Analytics (1) rsctc (1) R nyelv (7) saas (1) sap (1) SAS (20) sas enterprise miner (2) sas enterpris guide (1) sas entprise miner (1) sas fórum (1) sas forum (3) siker (3) simptech (1) sixtep (2) smarthabits (1) spike sorting (1) sportanalitika (1) spss (13) SPSS (3) spss clementine (3) spss hungary (5) spss modeler (6) ssd (1) starschema (2) startup (9) statisztika (1) survey (1) svm (1) szabad szoftver (1) szakmai (1) szavazó eljárások (2) szélenergia (1) szélerőmű (1) szervezetfejlesztés (2) szociális hálók (1) szoftver (5) szöveg (1) szövegbányászat (2) sztaki (2) tableau (1) talend (2) támogatás (1) tanfolyam (1) tanulmány (1) tanulság (1) távolság (1) technológia (1) tedx (1) telekommunikáció (2) tensorflow (1) teradata (2) teszt (1) text mining (1) tmit (6) toborzás (1) tőzsdei előrejelzés (1) tracking (1) trendek (9) tudományos (1) tunedit (1) twitter (17) ügyfél (1) usa (1) üzleti intelligencia (3) üzleti modell (3) üzleti reggeli (4) választható tárgy (1) validáció (4) válogatás (1) válság (1) változás (1) vélemény (1) véleméy (1) verseny (20) vezetői képzés (1) videó (3) vizualizáció (5) web (4) web2 (2) webanalitika (3) webshop (1) weka (2) wikipedia (2) workshop (2) yahoo (2) Címkefelhő

TWitter a csapat tagjaitól

2019.05.02. 11:28 trapphenci

Adattárház - egy új hely az üzleti életben

adattarhaz.jpg

Képzeld el, hogy egy látszólag megoldhatatlan matematikai probléma előtt ülsz, amit rendkívül fontos lenne megoldani! Kapsz egy dobozt, aminek a tartalma segít neked a megoldásban, de amikor kinyitod úgy látod, hogy semmi értelme annak, amit találsz benne: 572 kígyó, egy marék dió, néhány hurkapálcika és egy csomó dühös nyúl. Van még pár millió további doboz, mindegyik hasonlóan zavaros tartalommal, amik elvileg mind segítenek neked, hogy ezt a gigantikus problémát megold..

Még a leginteligensebbek is elvesznek, ha ilyen helyzetbe kerülnek. Miért? Mert annak ellenére, hogy a probléma a saját szakterületükön helyezkedik el (mindannyian értünk a matekhoz), a probléma megoldására szolgáló eszközök olyan formátumban vannak, hogy nem tudjuk azokat értelmezni. Ugyanez a kihívás folyamatosan jelentkezik az üzleti világban, amikor a vállalatok folyamatosan értelmezni próbálják az eltérő adatokat.  

A MIT (Massachusetts Institute of Technology) kutatásai szerint az adatok mindössze 0,5%-át elemezték már és használják az üzleti világban, ami megdöbbentően alacsony szám. A CFO-k számtalan kihívással szembesülnek (pl: kampányelemzés, nyereség előrejelzés, termelés tervezés), amelyek megoldása úgy tűnik, hogy mindig visszavezetnek a üzleti- és ügyféladatokhoz. Ezek az adatok azonban szétszórva, különböző platformokon, az üzleti- és még az informatikai csapat számára is nehezen megérthető módon állnak rendelkezésre és elég nehéz eldönteni a puszta adatok alapján, hogy milyen beavatkozásokra van lehetőség.

A probléma megoldása érdekében a vállalatoknak az adatokat rendszerezni kell, szervezett és hozzáférhető formában kell tárolni azokat. Bár számos módja lehet az adatok szervezettségének kialakítására, van egy eszköz, ami különösen leegyszerűsíti az adatok elemzését, ez az adattárház.

Sokféleképpen definiálják az adattárházat, amit legegyszerűbben egy döntéstámogató adatbázisként lehet meghatározni, olyan témaspecifikus, integrált, időfüggő és fizikailag is tárolt adatgyűjtemény, amely a menedzsment döntéshozó folyamataihoz szükséges.

Az adattárházakban az aggregációk (az egymástól különálló elemek összegyűjtése) olyan big data-elemzéseket tesznek lehetővé, amelyekre korábban nem volt lehetőség. Az aggregációk nagymértékben csökkenthetik a nagyméretű adatkészletek döntéshozáshoz szükséges feloldásának költségeit.

Egy adattárház olyan, mint a beérkezett üzenetek: az információ folyamatosan folyik belőle, amelyek közül néhány hasznos egy adott projekthez, amelyen dolgozol, néhány nem. Mivel minden e-mail egy helyre érkezik, sok szakember készít egy almappát, amelyek szűrik a projekthez kapcsolódó e-maileket. Ez a mappa megfelel az adattárháznak ebben a végtelenül leegyszerűsített forgatókönyvben, amelynek célja, hogy olyan információkat tároljon és rendszerezzen, amelyek az üzleti kihívásra vonatkoznak. A legalapvetőbb formában az adattárház egy olyan adattár, ahol a vállalat az üzleti igényeknek megfelelően tárolhatja és rendezheti az adott célra kialakított adatokat. 

Az egyik legfontosabb iparág, amely ezt a tárolót használja, a kiskereskedelem, ahol a marketing részlegek a kampányokban gyakran küzdenek a ROI meghatározásával, a célzással és a méréssel. Ennek leküzdése érdekében számos vállalat adattárházat használ az üzleti kampányok kezelésére szolgáló adatszervező eszközként. Az adattárház információkat tárol az ügyfelekről, tranzakciókról, termékekről, üzletekről, helyszínekről és még sok minden másról - ezután komplex jelentéseket ad, például a piaci részesedésről, az ügyfélszegmentációról és a folyamatban lévő kampány utáni elemzést készít. Ezek a képességek integrálhatók olyan vizualizációs eszközökkel, mint például a Tableau vagy a Power BI.

1 komment

A bejegyzés trackback címe:

https://adatbanyaszat.blog.hu/api/trackback/id/tr8014799096

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

nyu 2019.05.02. 20:41:50

"Az adattárházakban az aggregációk (az egymástól különálló elemek összegyűjtése) olyan big data-elemzéseket tesznek lehetővé, amelyekre korábban nem volt lehetőség. Az aggregációk nagymértékben csökkenthetik a nagyméretű adatkészletek döntéshozáshoz szükséges feloldásának költségeit."

Itt azért érzek némi csúsztatást, hiszen az adattárház az jó huszon, ha nem harminc évvel régebbi technológia, mint az őt kiváltani próbáló big data, elmélete egészen a hetvenes évekig nyúlik vissza. (pár év híján egyidős a relációs adatmodellel!)

Viszont egy adattárház felépítése általában túl sokba kerül: sok időbe kerül összeszedni, hogy honnan milyen részletezettségű adatot akarunk gyűjteni, ezekből elkészíteni, implementálni a megfelelő aggregációkat, aztán folyamatosan karbantartani, ahogy az üzleti igények, törvényi előírások változnak.
És ez még csak az ETL oldal volt, tárolt adatokon futó riportok az más kérdés.
Nsgyvállalatokon kívül nem nagyon engedhette meg magának senki egy ilyen, jellemzően évekig elnyúló projektet, aminek csak a végén látszik az eredmény.

Nagyjából az ezredfordulóra vált olyan olcsóvá a fajlagos tárolási kapacitás, hogy egyáltalán megvalósulhatott a big data alapötlete, hogy az adatokat mindenféle előzetes szortírozás, feldolgozás nélkül, struktúrálatlanul tárolhassuk, és abból mindenféle utólagos hókuszpókusz megoldásokkal keressük a tűt a szénakazalban.

Ezzel viszont átestünk a ló túloldalára, mert amit megnyertünk fejlesztési időben+pénzben azon, hogy előzetesen nem kell leimplementálni a valamilyen időközönként (pl. naponta) futó, széna szortírozó és csak a tűket a gombolyagba szúró megoldást (adattárházas terminológiával ETLt), így jóval (hónapokkal, évekkel) hamarabb lehet nekiállni a tárolt adatok elemzésének, azt buktad a tárolási költségen, a több nagyságrendnyivel bonyolultabbá váló elemezhetőségen.

Úgy már könnyű elemezni, ha van kész adattárház.
Gyakorlatilag úgy állsz neki aranyat mosni a folyónál, hogy előtte odabillentettek pár teherautónyi ércet a partra, és neked csak odébb kell lapátolni.