Inženýři z Facebooku identifikují výzvy na vyhledávání dat ve velkém množství

Inženýři společnosti Facebook mají před sebou mnoho úkolů, protože pracují na zvětšování grafického vyhledávání, nového vyhledávacího nástroje webu. Jeden úskok: přehnané množství dat, které je třeba projít.

Vezměte příklad hledání japonských restaurací v New Yorku, které mají rádi lidé z Japonska. Hledání, které by zřejmě vygenerovalo stovky, ne-li tisíce výsledků, odplavuje jen dvě špinavé podniky.

Vyhledávač ve své stávající beta formě jednoduše nemá procesní sílu, aby prošel miliony spojení mezi japonskými lidmi na webu provedli vyhledávání, řekl inženýři Facebook ve čtvrtek během malého mediálního briefingu v sídle společnosti v Menlo Park v Kalifornii.

Kerry Davis, inženýr IDGNSMike Curtiss na Facebooku, popisuje pozadí vyhledávacího grafu, který je poháněn vyhledávačem Facebook volá Unicorn.

Je stále ještě spousta práce, kterou musíme udělat, "řekl softwarový inženýr Michael Curtiss. "Takovýto dotaz je velmi obtížný výpočetně," začal s 100 miliony v Japonsku a pak za zlomek vteřiny prolistovat všechny stránky, které lidi v Japonsku oblíbili, řekl.

"To je prakticky "říká inženýr, který pomohl navrhnout webový vyhledávač Unicorn, který poskytuje infrastrukturu Graph Search. "To, co můžeme udělat, je vyřešit možná dobré výsledky."

Kerry Davis, podstata hledání IDGNSFacebooku se nazývá společnost Unicorn. Uvnitř jsou typům okrajů přiřazeno číslo. Zde je v levém dolním rohu obrazovky zobrazeno číslo pro přátele, které funguje jako klíčové slovo uvnitř systému.

Facebook používá řadu přístupů k vyřešení tohoto a dalších velkých problémů s daty spojených s vyhledáváním grafu.

Jedna strategie zahrnuje koncept v počítačových databázích známých jako "optimalizace dotazů" pro zlepšení rychlosti a efektivity některých typů vyhledávání.

V případě vyhledávání japonských restaurací by se technika mohla aplikovat na začátek nejprve s které se líbí, místo toho, aby začaly s Japonskem, a poté filtroval lidi, kteří se jim líbili, uvedli inženýři z firmy Facebook.

Společnost také řeší výzvy na hardwarové úrovni tím, že přidá další flash paměť a další nové funkce servery, které používá v datových centrech, aby se přizpůsobil nárůstu vyhledávací návštěvnosti způsobené vyhledáváním grafu.

"Musíme dělat další práci v datových centrech, nákup nových hardwarových platforem, [s] novými typy serverů. t výpočtové potřeby společnosti Unicorn, "uvedl Soren Lassen, který vedl tým pro vyhledávací infrastrukturu za Graph Search.

Facebook začal v minulém měsíci spustit Graph Search pro omezený počet uživatelů v USA Vyhledávací nástroj je navržen tak, aby umožňoval lidem hromadí se prostřednictvím 1 bilionu připojení sociálních sítí mezi uživateli, kteří vyhledávají lidi, místa, fotky a zájmy používající fráze v obyčejné angličtině.

V zásadě nic nemůže uživateli zabránit v psaní dotazu, který je neobvykle dlouhý, jako například "Zaměstnavatelé přátelé mých přátel, kteří žijí v New Yorku a kteří mají rád

Downton Abbey, "říkají inženýři, protože Graph Search využívá názvy jako" Likes "a check-in pro snadnější zařazení výsledků Nakonec Graph Search bude zahrnovat další metriky, jako jsou uživatelské komentáře a aktualizace stavu, které budou kompilovat a hodnocovat výsledky, ale to je dále v řadě, uvedla společnost.