Adatbányászat Blog

Az Adatbányász Blogon a dmlab szakértőinek írásait olvashatod a big data és data science területéről.

dmlab.hu - Big data és data science tanácsadás
"Ha örülsz, hogy fejedre nőttek az adatok."

Keress minket bátran:
- Nagy-Rácz István +36704595669
- Gáspár Csaba +36208234154
- info@dmlab.hu

2011.05.27. 11:52 Prekopcsák Zoltán

Radoop - Párhuzamos elemzések nagy adatokon

Címkék: hive rapidminer hadoop radoop mahout

A korábbi években többször belefutottunk olyan problémába, hogy a megszokott adatbányászati, adatelemzési eszközeink nem voltak képesek kezelni a rendelkezésre álló adatmennyiséget. Erre tavaly nyáron egy közel 100 GB-os adathalmaz tette fel a koronát, aminél már az is nehézzé vált, hogy egyetlen gépen valósítsuk meg az elemzést. Ekkor elkezdtünk elosztott számítási rendszerek után keresgélni, melyeknek a legjelesebb képviselője a MapReduce paradigmára épülő Apache Hadoop, de alaposan megszenvedtünk a megoldással. Az elosztott számítási rendszerek közös jellemzője napjainkban, hogy csak programozói interfészt nyújtanak a funkciókhoz, így csak parancssoros futtatások és programozás árán tudtuk elvégezni a projektet. Rögtön felmerült bennünk az igény, hogy milyen jó lenne ezeket a funkciókat az adatbányászati szoftverek megszokott felületén elérni.

Közel 9 hónap fejlesztés után két hét múlva a RapidMiner éves konferenciáján mutatjuk be azt a kiterjesztést, amellyel a RapidMiner kényelmes felületén használhatjuk a legfontosabb Hadoop-alapú adatelőkészítő és modellező operátorokat. A fejlesztéseket főleg Makrai Gábor végezte, és a szoftver két héten belül béta státuszba ér. A hozzáférést folyamatosan nyitjuk majd meg a jelentkezők számára, hogy tudjuk kezelni a kezdeti funkció-igényeket és hibajelentéseket. Hozzáférésre a Radoop weboldalán lehet jelentkezni. További részletek a konferenciára beadott cikkben és a Radoop angol nyelvű blogjában találhatóak.

Szólj hozzá!

A bejegyzés trackback címe:

https://adatbanyaszat.blog.hu/api/trackback/id/tr482936309

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.