Služba Hotmail získává nový úložný systém - stále ještě rychlejší!

Služba Hotmail přijímá každý den miliardy e-mailových zpráv, které musí být bezpečně uloženy a musí být být snadno dostupné. Systém úložišť založený na cloudu společnosti Hotmail podporuje více než jednu miliardu poštovních schránek a stovek petabajtů dat (jeden petabajt je milion gigabajtů). A v současné době je v tomto rozsahu efektivně zpracováván stovky tisíc současných transakcí. Systém úložiště je vybudován pomocí technologie společnosti Microsoft, včetně systémů Windows Server a Microsoft SQL Server.

Společnost Microsoft pracuje na zásadním upgradu tohoto úložného systému. Od začátku tohoto roku byl na pilotním klastru s využitím osobních účtů zaměstnanců společnosti Microsoft provozován nový systém založený na technologiích vyvinutých v Hotmailu. A po důkladném testování byl certifikován nový systém, který poskytuje lepší spolehlivost za výrazně nižší cenu.

Uvidíme některé z těchto nových technologií, které používá služba Hotmail.

Implementace JBOD nahrazující RAID:

"RAID Pole levných disků) je technologie, která umožňuje připojení několika pevných disků k jedné řadě řadičů, což z nich dělá vypadat jako jeden větší a mnohem spolehlivější pevný disk (někdy nazývaný "logická jednotka") ke softwaru, úložný systém. "

Služba Hotmail dlouhodobě využívá systém RAID. E-maily byly uloženy ve více skupinách RAID, takže i když selže celý RAID, mohou být zprávy obnoveny. Společnost Hotmail zkoumala perspektivu spolehlivosti jednotek o kapacitě větší než 1 terabajt a zjistila, že z hlediska spolehlivosti není hodnota peněz. Systémy RAID se snadno zabývají problémy, které se dotýkají jednoho systému, nikoliv však, když se celý problém se systémem nebo řadičem RAID. Služba Hotmail zjistila, že kopírování na jiném počítači, které není sdíleným řadičem, bylo nejen spolehlivější, ale i nákladově dražší než konfigurace RAID.

Takže vyvinuli JBOD (jen banda disků), kde jsou kopie dat umístěny na samostatném hardwaru pohony, řídicí jednotky a stroje. Tím se řídící jednotka pevného disku téměř úplně vyhnula a předávala mu software ke kontrole. Tento systémový software JBOD byl vyvinut společností Hotmail.

Tento software JBOD neustále monitoruje selhání a vyvolává varování, když je nalezen tak, že spustí proces opravy. Tento proces oprav může restartovat počítač nebo restartovat proces, opravit poškození dat nebo dokonce zahrnovat lidský zásah, pokud je to nutné. Hlavní výhodou používání softwaru je, že může zachovat dobré kopie e-mailů, které upřednostňují opravu, pokud najde méně kopií. Použitím tohoto softwaru byla zjednodušena replikace

"Systém úložiště se skládá ze souboru strojů, z nichž každá má kopii e-mailové zprávy a deníků, které zaznamenávají zprávy, které dorazily, organizované podle data příjezdu. Stroje se čas od času mluví, porovnávají své časopisy a kopírují veškeré zprávy, které si uvědomují, že nebyly zkopírovány do všech počítačů. "

Implementace pevných disků (SSD) namísto pevných disků

Víme, že SSD jsou mnohem rychlejší než pevné disky. Pevné disky, ačkoli jsou větší a levnější, pomalu snižují rychlost požadavků.

"Normální pevný disk může provádět o něco více než sto operací čtení / zápis za sekundu, zatímco některé z nejrychlejších SSD sto tisíc operací za sekundu. "

Přestože tato rychlost je za cenu, že je mnohem dražší / gigabajt než u pevných disků.

Jednotky SSD pracují s efektivně se měnícím zatížením. To lze vysvětlit tím, že služba Hotmail nejen ukládá e-mailové zprávy, ale také sleduje různé neustále se měnící metadata, jako je seznam zpráv ve schránce doručených, čtení / nepřečtené zprávy, konverzace, atd. Tato metadata však zabírá malou část úložného prostoru nastavuje maximální zatížení pevných disků v důsledku stále se měnícího charakteru. Takže pomocí SSD pro ukládání metadat a pevných disků pro zprávy je lepší a efektivnější kombinace.

Kromě těchto vylepšení služba Hotmail odhalí v budoucích příspěvcích mnohem více. Zavedení nového úložného systému již začalo a nové klastry budou založeny na JBOD. Již 30 miliónů uživatelů je na JBOD, zatímco dalších 100 milionů se bude pohybovat v průběhu času.

Pokud jste si všimli, služba Hotmail se stala opravdu rychlá. Pokud jste to neudělali, zkuste to nyní.