Nový software detekuje boty Škrábání dat z webových stránek

Webové stránky, jako jsou pracovní desky, čelí přetrvávajícímu problému: jejich data jsou neustále ukrývány automatizovanými boty.

Údaje končí na jiných konkurenčních pracovních místech, které obsah ukradly. Je to problém, který narušuje jakoukoli webovou stránku, jejíž duševní vlastnictví musí být zveřejněno zdarma, nebo dokonce i s těmi, kteří mají předplatné modely.

Ale bezpečnostní společnost založená v Atlantě, která se specializuje na detekci robotů, vyvinula software, který dokáže detekovat tyto škrábance a roboty pro dolování dat

Hlavní produkt společnosti Pramana, HumanPresent, detekuje automatizované boty, které například zapisují nevyžádanou poštu do webových formulářů nebo se bezplatně registrují e-mailové účty, které mají být použity pro nevyžádanou poštu.

Společnost Pramana pro HumanPresent nyní vyvinula modul nazvaný "dolování dat a prevence škrábanců obrazovky". Pracuje na mnoha stejných principech jako je jeho hlavní produkt, ale byl upraven pro scénáře dolování dat, řekl David Crowder, CEO společnosti Pramana.

HumanPresent dokáže detekovat boty tím, že si všimne rozdílů ve způsobu, jakým by člověk normálně komunikoval s webem a kontrastuje s tím, jak se boti chovají. Vypadá to na více než 30 ukazatelů, jako jsou tahy klávesnic, kliknutí myší a načasování těchto akcí.

HumanPresent se zabývá jednotlivými transakcemi, ale modul pro dolování dat byl upraven tak, aby se podíval na časovanou dobu, nebo člověk je na místě, říká Crowder.

Datové mining roboty mají tendenci úplně obcházet uživatelské rozhraní prohlížeče. Například bot může požádat o webovou stránku se spoustou a množstvím dat, ale nikdy se neprohýbá nebo neuslyší kliknutí na stránku. Pokud je řada stránek otevřena a prohlížena tímto způsobem, mohlo by to znamenat, že se objevil bot pro získávání dat.

Pramana přidělí návštěvníkovi jedinečné ID a po analýze chování návštěvníka se může rozhodnout, zda bude označen návštěvník bot nebo ne. Existuje několik různých způsobů, jak se provozovatel webových stránek může rozhodnout vyřešit situaci.

Adresa IP (Internet Protocol) počítače bot může být blokována trvale. Jeden webový server pro aukci automobilů, který testuje modul Pramany pro dolování dat, se rozhodl přesunout podezřelé boty do "sandboxu", kde jsou zobrazovány úplně nepravdivé údaje. "Jsou to opravdu data mining - je to jen mrtvé," řekl Crowder.

Další možnosti zahrnují výzvu návštěvníka webu k výzvě nebo úloze, kterou některé boty nedokáží dokončit.

Data mining stojí společnosti draho. Společnosti, které prodávají prémiové údaje, zjistí, že jejich konkurenti si zakoupí předplatné a poté použijí automatizované boty k ukrácení údajů pro své vlastní stránky. V jednom příkladu webový server, který má gigabajty dat o použitých cenách automobilů, zjistil, že jejich údaje byly oškrábány a byly prodávány na eBay.

"Oni skutečně soutěží s vlastním obsahem," řekl Crowder. Webové stránky mají špatné vzory, které dělají škrábání dat mnohem jednodušší. Webové stránky o použitém autě měly URL adresy (Uniform Resource Locators), které by mohly být postupně upraveny tak, aby odhalily další data, uvedl Crowder.

Modul pro dolování dat bude nyní zabalen do produktu HumanPresent, ale začátkem příštího roku plánuje Pramana prodat zvlášť, řekl Crowder. Společnost Pramana nabízí službu HumanPresent buď jako zařízení typu "on-premise", nebo jako konfiguraci softwaru jako služby.

Pro službu SaaS (software jako služba) je technologie Pramana integrována do webové aplikace a informace o relaci jsou odeslány zpět do Pramany pro analýzu. Crowder řekl, že Pramana dokázala výrazně snížit dobu latence v nejnovější verzi. Pro zákazníky, kteří potřebují vyšší rychlost, je zařízení k dispozici.