Dodavatelé databází Přidejte Google MapReduce

Greenplum a Aster Data Systems, analýza dat oznámila tento týden, že jejich produkty budou podporovat MapReduce, programovací techniku ​​původně vyvinutou společností Google pro paralelní zpracování rozsáhlých datových sad v rámci komoditního hardware.

Vývojáři softwaru mají tendenci být spokojeni s jazyky, jako je Java a C ++, SQL databázový jazyk, řekl Mayank Bawa, spoluzakladatel a generální ředitel společnosti Aster, výrobce clusterového databázového systému, který rozděluje pracovní zátěž do několika diskrétních vrstev.

Nejvíce vývojáři se potýkají s nuancemi, napsal na blogu. "Je skutečně nutné použít SQL maestro k provádění zajímavých dotazů pro transformaci dat (během zpracování ETL nebo zpracování Extract-Load-Transform) nebo dolování dat (během analýzy)."

Zadejte MapReduce, jehož cílem bylo poskytnout "triviálně paralelizovatelný rámec tak, aby i noví vývojáři (aka interni) mohli psát programy v různých jazycích (Java / C / C ++ / Perl / Python) pro analýzu dat nezávisle na měřítku," napsal Bawa.

Mezitím Greenplum, výrobce databáze, který říká, že může měnit na petabajt informací, uvedl tento týden, že rámec MapReduce bude od září součástí svého datového toku.

Dvojité oznámení přineslo uznání schválení od jednoho blízkého pozorovatele databáze "Vlastní MapReduce může dělat mnoho důležitých prací při manipulaci s daty a analýze." Integrace s SQL by měla pouze zvýšit jeho použitelnost a sílu, "napsal Curt Monash z Monash Research na blogu DBMS2.

"MapReduce není zapotřebí pro tabu správa dat. To je efektivně paralelizováno jinými způsoby, "dodal." Pokud však chcete vytvořit ne-tabulkové struktury, jako jsou textové indexy nebo grafy, MapReduce se ukáže být velkou pomocí. "