Scrapery, klonovače a AI agenti

Chraňte svou aplikaci a obsah před scrapery, klonovači a AI agenty.

Corpilus Shield rozpozná automatizované návštěvníky na vašem serveru i ve vaší aplikaci, učiní kopii vaší aplikace prokazatelnou a AI agentům v podobě, kterou čtou stroje, oznámí, že váš obsah jim nepatří. Vše nové začíná vypnuté nebo jen sleduje. Jediná výjimka, blokování návštěvníků, kteří se vydávají za známý crawler, začíná, když zapnete blokování na vašem serveru.

1 · Scraping

Automatizovaní návštěvníci, rozpoznaní na vašem serveru i ve vaší aplikaci.

Scrapery a boti stahují váš obsah stránku za stránkou. Shield vám ukáže, kdo to je, a když se tak rozhodnete, odpoví jim dřív, než se dostanou k vaší aplikaci.

AI crawlery podle účelu

Crawlery, které se představí, jsou seskupené podle toho, pro co přicházejí: trénink modelu, vyhledávací index, asistent, který načte stránku pro člověka, a další. Pro každou skupinu si vyberete: pustit, ověřit, zablokovat nebo poslat do bludiště vymyšlených stránek. Dokud to nezměníte, vše prochází. Tyto volby řídí crawlery, které řeknou, kdo jsou.

Podvodníci a ověřené vyhledávače

Návštěvník, který se vydává za známý crawler, ale přichází mimo adresy, které jeho poskytovatel zveřejňuje, se rozpozná jako podvodník. Začíná to, když zapnete blokování na vašem serveru, v režimu „Jen sledovat“ nebo „Blokovat“: od té chvíle se podvodník blokuje ve skriptu Shield a při kontrolách formulářů a na vašem serveru v režimu „Blokovat“. Své vlastní SEO nástroje, které se vydávají za vyhledávač, dejte nejprve na whitelist. Na Google, Bing, Apple a DuckDuckGo, ověřené podle jejich zveřejněných adres, se nikdy nesáhne; vyhledávače, které nezveřejňují seznam adres, například Seznam, se posuzují jako kterýkoli návštěvník.

Blokování na vašem serveru

Malý snippet pro Cloudflare, nginx nebo váš vlastní serverový kód drží blokovací seznam vašeho webu a o každém požadavku rozhoduje sám. Corpilus nikdy nestojí v cestě vašim návštěvníkům: když je Corpilus nedostupný, snippet si ještě krátce ponechá poslední seznam a pak pustí každý požadavek.

Kontrolní stránka místo bloku

Adresa, kterou Shield označí ke kontrole, nebo skupina crawlerů, kterou nastavíte na „ověřit“, dostane při otevření stránky v prohlížeči krátkou kontrolní stránku; prohlížeč člověka s JavaScriptem jí projde. Vypnuto, dokud to nezapnete.

Ve vašich stránkách a formulářích

Skript Shield a Hybrid SDK hlásí, jak se vaší aplikací prochází, takže návštěvník, který z ní otevře mnohem víc, než by otevřel člověk, se ukáže jako podezření. Formulář může botovi, který padl do pasti, odpovědět falešným „odesláno“ a zprávu zahodit.

Blokování na vašem serveru potřebuje edge snippet nebo Hybrid SDK; samotný skript Shield kontroluje jen v prohlížeči. Každá reakce zůstává vypnutá, dokud ji nezapnete.

2 · Kopírování aplikace

Kopii nelze zabránit. Lze ji zpomalit, odhalit a prokázat.

AI klonovací nástroje staví webovou aplikaci znovu z toho, co stáhne prohlížeč. Žádný nástroj nezabrání prohlížeči stáhnout váš frontend — Shield učiní kopii rozpoznatelnou a dá vám důkazy.

Návnady

Se zapnutými neviditelnými vodoznaky dostane váš web návnadové adresy, na které žádná vaše stránka viditelně neodkazuje a které žádný člověk nenavštíví. Nástroj, který si jednu vyžádá, je jistá past, ne odhad. Se zapnutým klamáním nejdřív dostane vymyšlené obrazovky a popisy funkcí, jen v návnadách, které vytvoří Corpilus, a když pokračuje, je zablokován.

Značky, které prokážete

Neviditelné značky na konci vašich stránek a text, který existuje jen ve vašich návnadách. Vaši uživatelé nevidí ani jedno. Volitelný kopírovací maják vám řekne, kde běží kopie, která značky ponechala; každé takové hlášení je stopa k prověření, ne důkaz.

Kontrola URL

Zadejte adresu podezřelé kopie. Corpilus ji jednou stáhne a hledá vaše značky a text z vašich návnad. Nález se uloží jako ověřený důkaz a administrátor ho exportuje jako podepsaný soubor s návodem, jak podpis ověřit.

Přehled podle účtu

V aplikaci s přihlašováním Hybrid SDK ukáže, kolik různých obrazovek otevřel každý přihlášený účet dnes a během posledního týdne, takže se ukáže i účet, který pomalu prochází celou vaši aplikaci. Jen měří. Můžete si nastavit i limit na účet; nad ním SDK odpoví „Too Many Requests“, jakmile jsou Kopírování aplikace i blokování na vašem serveru nastavené na „Blokovat“.

Vodoznaky, klamání, kopírovací maják, přehled podle účtu a limit na účet jsou každé vypnuté, dokud je nezapnete. Klamání potřebuje vodoznaky a jedná jen tehdy, když jsou Kopírování aplikace i blokování na vašem serveru nastavené na „Blokovat“. Přehled podle účtu a limit na účet potřebují Hybrid SDK.

3 · AI agenti

Řekněte AI agentům ne a těm, kdo to ignorují, nedejte nic skutečného.

AI agent čte váš web pro produkt někoho jiného. Shield vám dá deklarovaný postoj, který přečtou stroje a na který se může odvolat právník, a agenty, kteří ho ignorují, pošle do návnad.

Strojově čitelná výhrada vůči AI

Váš web deklaruje ve formátu TDMRep, formátu komunitní skupiny W3C vytvořeném pro výhradu vůči vytěžování textů a dat podle EU, že vytěžování textů a dat z vašeho obsahu je vyhrazeno. Volitelné oznámení pro agenty dodává, že kopírování vaší aplikace za účelem vytvoření jiného produktu není povoleno. Skript Shield přidá obojí do vašich stránek; edge snippet nebo Hybrid SDK přidají výhradu i do odpovědí vašeho serveru. Agenti, kteří takové výhrady respektují, přestanou. Samo to nikdy nikoho neblokuje.

Šablona pro vaše podmínky

Návod v aplikaci obsahuje dva odstavce do vašich podmínek užívání: žádné používání vaší služby k vývoji konkurenčního produktu a žádné automatizované kopírování ani vytěžování textů a dat. Je to šablona: nechte ji zkontrolovat právníkem pro vaši jurisdikci.

Co o vás prozrazuje veřejný web

Skener Shield zkontroluje, co vaše veřejné stránky prozrazují každému, kdo si je stáhne, a zda váš web deklaruje výhradu tam, kde ji přečte i obyčejné stažení.

Agenti narazí na návnady, ne na vaše skutečné obrazovky

Agent, který jde po skrytých návnadových odkazech, dostane vymyšlené obrazovky; vaše skutečné stránky zůstávají pro všechny ostatní takové, jaké jsou. Agenti, kteří ovládají skutečný prohlížeč: návnady je nechytí. Shield měří ty, kteří prozradí automatizaci, a na základě tohoto měření nic nevykoná, pokud nezapnete „Návnady pro prohlížečové agenty, kteří čtou široce“ (výchozí vypnuto, vyžaduje Hybrid SDK): pak takový, který zároveň otevře mnohem více stránek než člověk, může dostat vymyšlený obsah uvnitř návnad, nikdy blokování a nikdy na vašich skutečných stránkách, a přihlášené osoby se to nikdy netýká; váš limit na účet a blokovací seznam se na ně stále vztahují.

Výhrada a volitelné upozornění pro agenty jsou ve výchozím stavu vypnuté a nikdy nic neblokují. Výhrada v odpovědích vašeho serveru potřebuje edge snippet nebo Hybrid SDK.

Jak to funguje

Tři kroky, vaším tempem.

  1. 01
    Nainstalujte skript Shield, edge snippet nebo Hybrid SDK
    Skript Shield vložíte do stránek jedním řádkem. Edge snippet běží na Cloudflare, v nginx nebo ve vašem serverovém kódu a odpoví dřív, než požadavek dorazí k vaší aplikaci. Hybrid SDK pro Node.js, Python nebo PHP přidá to, co ví jen vaše aplikace: kdo je přihlášen.
  2. 02
    Začněte v režimu „Jen sledovat“
    Kopírování aplikace začíná v režimu „Jen sledovat“: Shield zapisuje, co vidí a co by udělal, a nekoná nic. Využijte ten čas a dejte na whitelist své kanceláře, skenery a partnery.
  3. 03
    Zapněte blokování nebo klamání, až budete připraveni
    Přepínejte na „Blokovat“ po jednom místě: blokování na vašem serveru, kontrolní stránka, klamání. Vrátit se můžete kdykoli.

Samotný skript Shield nedokáže odmítnout požadavek na vašem serveru: závazné odmítnutí potřebuje edge snippet nebo Hybrid SDK.

Bezpečné od začátku

Co Corpilus Shield nikdy nedělá.

  • Návnady se vyhnou vašim přihlášeným uživatelům

    S Hybrid SDK, kterému předáte svou kontrolu přihlášení, se návnada podá jen tehdy, když je jisté, že nikdo není přihlášen; vaši přihlášení uživatelé jdou rovnou do vaší aplikace. Požadavek, který se na adresu návnady přesto dostane, se zaznamená jako kterýkoli jiný. Edge snippet a skript Shield přihlášení nevidí.

  • Lidé nikdy nevidí vymyšlený obsah

    Vymyšlené odpovědi dostávají jen automatizovaní návštěvníci, a jen tam, kde je zapnete: návnadové obrazovky na adresách, které vytvoří Corpilus, bludiště pro skupiny crawlerů, které tam pošlete, falešný popis API pro přistiženého kopírujícího a falešné „odesláno“ pro bota, který ve formuláři padl do pasti. Jediné, co do stránky přibude, je to, co zapnete: neviditelné značky, skryté návnadové odkazy a výhrada.

  • Ověřených vyhledávačů se to nikdy nedotkne

    Na Google, Bing, Apple a DuckDuckGo, ověřené podle jejich zveřejněných adres, se nikdy nesáhne; vyhledávače, které nezveřejňují seznam adres, například Seznam, se posuzují jako kterýkoli návštěvník. Adresa na vašem whitelistu se návnadovou pastí nikdy nezablokuje.

  • Nic nového nezačíná blokováním

    Vše nové na této stránce začíná vypnuté nebo v režimu „Jen sledovat“, s jednou výjimkou: když zapnete blokování na vašem serveru, návštěvník, který se vydává za známý crawler z nesprávné adresy, se zablokuje. Neznámé nikdy neblokuje: adresa, kterou Shield neumí určit, nedostane žádné rozhodnutí.

Co nedokáže

Zabránit kopírování

Prohlížeč musí váš frontend stáhnout, aby ho zobrazil. Kopírování lze zpomalit, odhalit a prokázat, ne mu zabránit.

Vidět snímky obrazovky

Kopie postavená ze snímků obrazovky nebo kopie, která značky odstraní či přepíše, nenese nic, co by Kontrola URL našla.

Rozlišit lidi za jednou adresou

Všichni za sdílenou adresou kanceláře sdílejí i její blok. Než přepnete na „Blokovat“, dejte své kanceláře a partnery na whitelist.

Prokázat, že kopie neexistuje

Vidíte kopie nalezené dosud. Stopa se stane ověřenou, až když Kontrola URL najde vaše značky.

Otázky

Časté otázky.

Dokáže Corpilus Shield zabránit zkopírování mé aplikace?
Žádný nástroj to nedokáže: prohlížeč musí váš frontend stáhnout, aby ho zobrazil. Shield kopírujícího zpomalí, rozpozná ho, může mu místo vaší aplikace podat vymyšlený obsah a značkami a Kontrolou URL učiní kopii prokazatelnou.
Zablokuje Google nebo mé zákazníky?
Na Google, Bing, Apple a DuckDuckGo, ověřené podle jejich zveřejněných adres, se nikdy nesáhne; vyhledávače, které nezveřejňují seznam adres, například Seznam, se posuzují jako kterýkoli návštěvník. Vše nové začíná vypnuté nebo v režimu „Jen sledovat“, kromě blokování návštěvníků, kteří se vydávají za známý crawler; to začíná, když zapnete blokování na vašem serveru. Adresa, kterou Shield neumí určit, nedostane žádné rozhodnutí. Za sdílenou adresou kanceláře sdílejí blok všichni, proto než přepnete na „Blokovat“, dejte své kanceláře, partnery a SEO nástroje na whitelist.
Potřebuji Hybrid SDK?
Ne na všechno. Skript Shield přidá značky, výhradu do vašich stránek, návnadové odkazy a kontroly v prohlížeči. Edge snippet přidá blokování na vašem serveru, výhradu v odpovědích vašeho serveru a samotné návnady. Jen Hybrid SDK ví, kdo je přihlášen: když mu předáte svou kontrolu přihlášení, návnada se podá jen tehdy, když je jisté, že nikdo není přihlášen, a potřebuje ho i přehled podle účtu a limit na účet.
Zastaví výhrada vůči AI AI agenty?
Jen ty, kteří takové výhrady respektují. Deklaruje váš postoj a sama nikdy nikoho neblokuje. Ve sporu ukáže, že jste výhradu deklarovali ve standardní strojově čitelné podobě; jako důkaz si uchovejte vlastní datovanou kopii stránky a jejích hlaviček.
A co agenti, kteří ovládají skutečný prohlížeč?
Návnady je nechytí. Shield měří ty, kteří prozradí automatizaci, a na základě tohoto měření nic nevykoná, pokud nezapnete „Návnady pro prohlížečové agenty, kteří čtou široce“ (výchozí vypnuto, vyžaduje Hybrid SDK): pak takový, který zároveň otevře mnohem více stránek než člověk, může dostat vymyšlený obsah uvnitř návnad, nikdy blokování a nikdy na vašich skutečných stránkách, a přihlášené osoby se to nikdy netýká; váš limit na účet a blokovací seznam se na ně stále vztahují. V aplikaci s přihlašováním přehled podle účtu ukáže účet, který prochází celou vaši aplikaci, a kopie, kterou udělají, může stále nést vaše značky pro Kontrolu URL.
Co zaznamenává o mých návštěvnících a uživatelích?
Jaký druh stránky se otevřel, se hlásí jen jako počty a krátké otisky druhu stránky, nikdy ne celá adresa stránky ani její parametry. Přehled podle účtu je ve výchozím stavu vypnutý; ID vašeho uživatele nikdy neopustí váš server a data se po omezené době smažou. Správcem údajů vašich uživatelů zůstáváte vy. Pokud zapnete kopírovací maják, prohlížeče návštěvníků kopie se spojí s Corpilusem: uveďte to v prohlášení o ochraně soukromí.
Weby, e-shopy a aplikace

Formuláře, přihlášení a rozhraní vašeho webu jsou popsány na vlastní stránce.

Další krok

Ukažte nám aplikaci, kterou chcete chránit.

Projdeme vaši aplikaci, jak se doručuje a kdo se přihlašuje, a navrhneme, kde má Shield sledovat, které značky a návnady dávají smysl a kdy přepnout na „Blokovat“.

Cena je individuální, podle rozsahu. Jak se určuje rozsah