Webové stránky

Yahoo pomáhá IIT Bombay Nastavit Hadoop Cluster Lab

Siro-A

Siro-A
Anonim

Yahoo pomohl indickému technologickému institutu v Bombaji, aby vytvořil laboratoř clusteru Hadoop v Bombaji tím, že by věnovala clusteru serverů s otevřeným softwarem Hadoop.

Apache Hadoop je open-source distribuovaný počítačový projekt Apache Software Foundation, které Yahoo podporuje.

Yahoo provozuje velké množství svých kritických operací pomocí Hadoopu a nemůže provádět veškerý výzkum požadovaný kolem společnosti Hadoop uvnitř společnosti, řekl Prabhakar Raghavan, senior viceprezident a vedoucí společnosti Yahoo Labs telefonní rozhovor ve čtvrtek

Yahoo oznámila v červnu loňského roku své vlastní distribuci Hadoopa s odkazem na zájem o komunitu Apache Hadoop, že publikuje verzi Hadoop, kterou testuje a nasazuje na své vlastní velké klastry. laboratoř na M umbai pomůže výzkumným pracovníkům ústavu v oblasti výzkumu, jako jsou techniky vyhledávání a hodnocení, získávání informací a zpracování přirozeného jazyka.

Akademičtí vědci, kteří chtějí zkoumat problémy související s webem, obvykle nemají přístup k výpočetním zdrojům a terabajtům data, která je zapotřebí pro výzkum "problémů s webovým měřítkem", uvedl Raghavan.

Počínaje poskytnutím výzkumníků společnosti Hadoop na univerzitě Carnegie Mellon s superpočítačem 4000 procesorů v roce 2007 Yahoo pomohla dalším univerzitám v USA, aby založili Hadoop

Raghavan neposkytl další podrobnosti o clusteru instalovaném na IIT, jen říkal, že servery se stovkami CPU a schopností zpracovávat terabajty dat byly nasazeny tam.

Kromě IIT Bombay, Yahoo pomáhá založit podobné klastry na akademických institucích v Německu a Singapuru, uvedl Raghavan. Jedná se o první tři akademické instituce mimo USA, kde Yahoo pomáhá při vytváření takových klastrů, dodal.

Yahoo plánuje později síť některých klastrů po celém světě, aby vytvořila "větší utilitu". Předtím je třeba posílit schopnost správy systému Hadoop, aby se zabránilo tomu, že student v jedné instituci shodí práci v jiné instituci, uvedl Raghavan.

Yahoo se v roce 2008 spojila s Computational Research Laboratories (CRL) Tata Group, aby nabídla zařízením pro superpočítače zdarma akademickým institucím v Indii, které se zabývají výzkumem rozsáhlých počítačů, zejména kolem Hadoopu. Tato spolupráce pokračuje, ale soustředí se na vysoce výkonné superpočítače, uvedl Raghavan.

Partnerství s akademickými institucemi na Hadoopu pomáhá společnosti Yahoo postavit skupinu inženýrů obeznámených s platformou Hadoop, tvrdí Raghavan. Někteří z nich dokonce najali Yahoo, dodal.

Yahoo také využila myšlenky, které přicházejí z akademických institucí, které provádějí výzkum pomocí Hadoopu, řekl Raghavan. Nicméně neposkytl konkrétní nápady, které byly z této spolupráce s akademickými institucemi přijaty.