Jak najít skryté stránky na webu

Typy skrytého obsahu

Skryté stránky webů lze rozdělit do několika kategorií, které vysvětlují, proč jsou pro vyhledávače neviditelné.

Dynamický obsah – stránky generované na vyžádání podle specifického dotazu, například výsledky vyhledávání produktů podle kombinace kritérií. Vyhledávače neprocházejí databáze, takže tyto stránky jsou dostupné jen po zadání konkrétního požadavku na samotném webu nebo pomocí specializovaných databázových vyhledávačů (např. Bright Planet).

Stránky bez odkazů – dočasné nebo nedokončené verze webů, či špatně strukturované stránky, které nejsou propojené s ostatními částmi webu. Pokud na stránku nikdo neodkazuje, ani vyhledávače ji neobjeví.

Obsah za přihlášením – předplatitelské služby, interní sekce nebo jiné části webu, které jsou úmyslně blokovány před vyhledávači. Přístup vyžaduje vytvoření účtu a přihlášení.

Používání souboru robots.txt

Vyhledávače procházejí web a indexují jeho stránky. Vlastník webu může některé části vyloučit pomocí textového souboru robots.txt, umístěného v kořenovém adresáři.

Stačí zadat https://example.com/robots.txt do adresního řádku prohlížeče (nahraďte example.com skutečnou doménou). Soubor zobrazí pravidla, kde řádky začínající Disallow nebo Noindex označují části, které vyhledávače ignorují.

Jednoduché „hackování“ webu

Další metoda je ruční zadání možných URL. Pokud web používá systematické pojmenování, např. gallery1.html, gallery2.html, gallery4.html, můžete zkusit doplnit chybějící gallery3.html a odhalit tak skrytou galerii.

Stejně tak můžete procházet adresáře: pokud je struktura example.com/content/page1.html, zkuste otevřít example.com/content/. Pokud server neblokuje výpis adresáře, můžete procházet všechny soubory a podadresáře a najít tak další skrytý obsah.