hadoop yarn architecture
Jeden z rostoucího počtu databází jiných než SQL nebo NoSQL, Hadoop je založen na Google MapReduce, rámci pro zpracování dat paralelně na velkých počtech počítačů uzly. Hadoop, nyní vyvinutý jako open-source projekt Apache Software Foundation, nabízí alternativu k tradičním relačním databázím, přinejmenším pro ty případy analýzy velkých, rychle se měnících datových sad.
Může pracovat jak s SQL, tak s non -SQL data a je odolnější vůči selhání serveru než relační databáze, uvedl Olson.
Cloudera je obal Hadoop pro midlevel organizace, a to jak s jeho distribucí Hadoop, tak i nově vytvořenou sadu nástrojů pro správu. Oba balíčky by měly umožnit organizacím bez hlubokých technických zkušeností s Hadoopem spustit software, řekl Olson. "Existuje tento mýtus, že Hadoop je použitelný, pokud máte data v měřítku Google." Existuje mnoho uživatelů, kteří mají jen několik terabytů dat, které chtějí analyzovat, "uvedl Olson
Cloudera's Distribution for Hadoop (CDH) open-source balíček předem integrovaných softwarových programů postavených kolem Hadoop Common, dříve jménem Hadoop Core. Balík obsahuje: Úl, který poskytuje infrastrukturu datového skladu; HBase, databáze podkladové pro Hadoop; Pig, kompilátor pro programy snižující mapu; Zookeper, plánování pro spouštění aplikací na více serverech a MapReduce.
V nově vydané verzi 3 balíček obsahuje tři programy, které společnost vydala jako open source projekty pod licencí open-source Apache V2. Jedním z nich je Flume, který může pomoci při načítání dat do Hadoopu. Dalším novým přírůstkem je Oozie, což je software pro správu pracovních postupů. Posledním je kód Hadoop User Environment (HUE), který poskytuje uživatelské rozhraní pro správu Hadoopu.
"HUE umožňuje komukoli stavět aplikace zaměřené na analytiky, ví, jak mluvit s clustery Hadoop," řekl Olson.
Balík Cloudera Enterprise rozšiřuje verzi CDH verze 3 s dalšími nástroji pro správu. Tento nový software, který není otevřeným zdrojem, umožňuje správcům řídit správu přístupu pomocí protokolu Lightweight Directory Access Protocol. Programy jsou poskytovány také na zdroje na zajištění, na monitorování konfigurace a výkonu.
Olson by neřekl, kolik Cloudera dělal z poplatků za předplatné a konzultace, ale konstatuje, že první čtvrtletí roku 2010 společnost udělala tolik co získalo během poloviny roku 2009. Mezi různými odvětvími, finančními službami, telekomunikačními, maloobchodními, vládními a webovými obchodními společnostmi se projevil zájem o tuto technologii, uvedl Olson.
"Věci, které společnostem s Hadoopem dělají, se liší. obecně, tito lidé zachycují spoustu dat z mnoha míst a potřebují je podrobit sofistikované analýze, "řekl Olson. "Finanční služby mají zájem o použití technologie Hadoop pro detekci podvodů. V oblasti telekomunikací existuje skutečná potřeba optimalizovat sítě a snížit zátěž zákazníků."
Kromě poskytování těchto balíčků společnost Cloudera podporovala společnost Hadoop od poskytovatelů softwaru BI a softwaru pro správu dat
Olson plánuje oznámit během své konference na summitu Hadoop 2010, který se bude konat v Santa Clara, Kalifornie v úterý, že dodavatel BI MicroStrategy bude podporovat používání Hadoopu.
Dalším novým partnerem je Talend, dodavatel softwaru pro integraci dat s otevřeným zdrojovým kódem. Společnost rozšířila svou aplikaci Talend Integration Suite o rozhraní s databázemi Hadoop. Jeho sada umožňuje správcům spravovat a agregovat více zdrojů dat z jedné konzoly. S programem Hadoop software "může nativně vkládat nebo načítat data a zpracovávat data v architektuře Hadoop," říká viceprezident marketingu Talend Yves de Montcheuil.
Microstrategy a Talend se připojují k rostoucímu počtu společností, které připravují open source nebo nástroje pro komerční řízení společnosti Hadoop. Minulý týden se Cloudera a Quest pustili do projektu vybudování softwaru, který může spojit Hadoop s databázemi Oracle. V květnu otevřel Pentaho open-source business-intelligence společnost, která oznámila, že její sada BI bude pracovat s databázemi Hadoop.
V samostatném rozhovoru s IDG News Service, Yahoo CTO Raymie Stata poukázal na to, že Hadoop by mohl snížit potřebu budování superpočítačů analyzovat velké soubory dat. Tradičně byly velké soubory dat přesunuty z úložiště do superpočítače, což je sdružený soubor serverů, které mají být analyzovány. Naproti tomu Hadoop přesune analytický výpočet tam, kde jsou data uložena, čímž eliminuje potřebu centrálního, obřího stroje s křupavými čísly. Yahoo byl na počátku předního přispěvatele k Hadoopu.
Kromě nabídky společnosti Cloudera je Hadoop také komerčně využíván IBM, která nedávno začala nabízet soubor analytických služeb, které využívají tuto technologii.
Joab Jackson pokrývá programovací software a obecné technologické novinky pro
IDG News Service
. Sledujte Joab na Twitteru @ @ Joab_Jackson. Joabova e-mailová adresa je [email protected]
Shell začal v pátek oznámit svým zaměstnancům v USA porušení údajů, podle mluvčí Shell Robin Lebovitz. společnost zaznamenala počátkem minulého měsíce, že někdo použil údaje zaměstnance společnosti Shell k podání falešných žádostí o náhradu škody u zaměstnance společnosti Texas Workforce Commission (TWC). Po vyšetřování společnost zjistila, že zaměstnanec třetí strany dodavatele zneužil informace z podnikové databáze, uvedl Lebovitz. "Databáze zahrnovala záznamy pro většinu současných a býv
Zloděj používal čísla zaměstnanců sociálního zabezpečení k podání čtyř nepravdivých tvrzení. Shell nezjistil, že by údaje byly použity pro jakékoli jiné podvody, uvedl Lebovitz.
Hledáte, aby váš počítač běžel rychleji a s menšími problémy? To je slib provedený Advanced Vista Optimizer 2009 (35 dolarů, 15-denní bezplatná zkušební verze), který i přes své jméno pracuje s Windows XP stejně jako Windows Vista. Program nabízí komplexní sadu nástrojů pro to, co děláte od optimalizace CPU a paměti, až po lepší správu programů, které se spouštějí při spuštění, při čištění nevyžádaných souborů, při ochraně vašeho soukromí atd.
Všechny moduly jsou dobře navržené a jednoduché stačí k tomu, abyste nemuseli být odborníkem, abyste je plně využili. Pokročilý nástroj pro optimalizaci systému Vista využívá přístup k vyčištění a optimalizaci systému, který se podobá průvodci, a jasně vás provede každým krokem. Obsahuje také pěknou funkci péče o jedno kliknutí, která skenuje váš systém kvůli problémům a urychlení, a pak je provede automaticky pro vás.
"Videohry nerespektují humanitární zákony podle studie o virtuálních" válečných zločinech "u současných střelců, jako jsou Modern Warfare 2 a Army of Two, a jejichž výsledky, říkají výzkumní pracovníci, jsou" stejně deflující jako realita " . Švýcarské skupiny pro lidská práva Pro Juventute a TRIAL ("stopa beztrestnosti vždy") se rozhodly analyzovat videohry, a ne literaturu ani film, které považují za "pasivní" média, ve srovnání s "střílečkami&
20 Videohier, včetně titulů jako 24 (The Game) Bratři v zbrani: Hell's Highway a Metal Gear Solid 4 byli analyzováni "specialisty" v mezinárodním humanitárním právu a rozděleni podle vnímaných porušení, jako je zničení civilního majetku, civilní úmrtí, zničení náboženských budov, krutá nebo křehká léčba jiní a přímý útok na civilisty. Na základě výsledků zprávy doporučuje, aby vývojáři hry nevyhýbali vytváření scénářů, které "snadno vedou k porušování pravidel upravujících ozbrojené konflikty" a