Keď sa Cloudflare stane najväčším SEO nepriateľom

Cloudflare patrí medzi najpopulárnejšie služby na zrýchlenie a ochranu webov. Cez ich servery prechádza viac ako 20 % celej internetovej prevádzky.

Už len to je dôvod, prečo sa oplatí hovoriť o problémoch, ktoré dokáže spôsobiť, keď ho používate bez potrebných znalostí.

Som obrovský fanúšik Cloudflare. Ponúka jedny z najlepších nástrojov na trhu, mnohé z nich úplne zadarmo. Dnes sa však chcem zamerať na jednu konkrétnu oblasť: ich CDN/proxy funkcie.

Konkrétne sa pozriem na Bot Fight Mode, Super Bot Fight Mode a Under Attack Mode.

Tieto režimy vám majú pomôcť, no nie vždy to tak je

Bot Fight Mode a Super Bot Fight Mode sú skvelé funkcie, keď sa používajú správne. Zjednodušene povedané, obmedzujú škodlivé boty, ktoré prechádzajú váš web. Boty, ktoré napríklad preťažujú vašu infraštruktúru.

Bot Fight Mode je základná verzia zahrnutá v bezplatnom pláne. Je to jednoduchý on/off prepínač bez možností konfigurácie. Nemôžete whitelistovať konkrétne boty ani vytvárať výnimky.

Práve preto je rizikové nechať ho zapnutý na dlhšie obdobie. Môže totiž blokovať legitímny traffic, ktorý na webe naozaj chcete.

Super Bot Fight Mode je súčasťou platených plánov. Dáva vám väčšiu kontrolu. Môžete samostatne nastaviť, ako má vaša doména reagovať na konkrétne typy trafficu.

To znamená, že môžete povoliť overené boty ako Googlebot a zároveň blokovať tie podozrivé. Samotný režim sa však nedá prispôsobiť ani prekonfigurovať cez WAF custom rules. Môžete však vytvoriť custom rules s akciou Skip, ktorá obíde Super Bot Fight Mode na konkrétnych cestách, kde botov chcete mať.

Posledný režim, ktorý stojí za zmienku, je Under Attack Mode. Toto je najsilnejšia možnosť. Je navrhnutý na DDoS útoky a každého návštevníka núti prejsť cez JavaScript challenge, kým sa dostane na váš web.

Podľa vlastnej dokumentácie Cloudflare je Under Attack Mode navrhnutý tak, aby neblokoval crawlery vyhľadávačov (realita býva často iná). V praxi však tento JavaScript stále dokáže robiť problémy botom, ktoré JavaScript nespúšťajú. To zahŕňa väčšinu AI crawlerov.

Aké je hlavné ponaučenie? Aj samotný Cloudflare priznáva, že tieto produkty môžu blokovať aj dobrý traffic. V praxi Bot Fight Mode a Super Bot Fight Mode často zasahujú aj do legitímnych crawlerov, hoci by nemali. Under Attack Mode má zabudované ochrany pre vyhľadávače, ale nie vždy fungujú správne a aj tak by ste ho mali aktivovať len počas prebiehajúceho útoku. Nie ho nechať zapnutý natrvalo.

Vymazaný z Googlu cez noc

Keď tieto režimy zostanú zapnuté alebo zle nakonfigurované príliš dlho, vytvoria vážny problém.

Hneď ako Cloudflare začne blokovať požiadavky z Googlu alebo im zobrazovať overovaciu výzvu (challenge), začne postupne deindexovať vaše stránky jednu po druhej. To isté platí aj pre crawlery iných vyhľadávačov a AI nástrojov.

Keď Googlebotu raz vrátite chybový stavový kód, nie je to veľká vec. Google si váš web skontroluje neskôr znova.

Ale keď tieto požiadavky blokujete dlhšie obdobie, Google začne úplne odstraňovať URL zo svojho indexu. Zároveň vám zníži crawl budget. Google bude váš web odteraz navštevovať menej často.

Čím pomalšia odpoveď, tým neviditeľnejší sa stávate.

Zotavenie a skutočný problém

Z mojej skúsenosti zvyčajne nie je zotavenie tým najväčším problémom. Úplné zotavenie z takejto chyby trvá zvyčajne až šesť mesiacov. Často je to však výrazne rýchlejšie.

Naozaj to závisí od toho, ako dlho zostal problém s blokovaním v produkcii.

Skutočný problém je však finančný.

Všetko závisí od toho, koľko príjmov vaša firma generuje cez organický traffic. Ak organika prináša len nízke jednotky percent vašich príjmov, firma zásah pravdepodobne prežije.

Ale pre SaaS firmy alebo e-shopy, kde organika môže ľahko tvoriť cez 50 % príjmov, môže byť dopad zničujúci.

Monitoring je kľúčový

Proaktívny technický SEO monitoring vás môže pred takýmito situáciami zachrániť. Máte tri možnosti.

Prvou, a tou najhoršou, je úplne ignorovať proaktívny monitoring. Akceptujete vyššie riziko a dúfate, že sa nič nepokazí.

Druhou je manuálny monitoring. Každý deň si otvoríte Google Search Console a skontrolujete svoje dáta o performance, indexácii a crawlovaní. Funguje to, ale vyžaduje si to disciplínu.

Treťou, a najjednoduchšou, je použiť automatizované služby, ktoré fungujú ako „poistka“. Okamžite vás upozornia, keď sa s vaším webom deje niečo nezvyčajné. Zasiahnete skôr, než sa z malého problému stane veľký.

Jedným z nástrojov, ktoré som osobne vyvinul práve pre tento typ technického SEO monitoringu, je VitalSentinel. Ale aj Ahrefs a ďalší sú celkom dobré riešenia.

Začnite monitorovať skôr, než nastane prvý problém.