Search indexing
iInfo
Indexácia vyhľadávačmi: Google/Bing + ďalšie. Toto je “objavovanie” a obnovovanie indexu.
AI crawlers
iInfo
AI crawlery: GPTBot, Perplexity, Claude, ByteDance… (crawlovanie ≠ dôkaz tréningu).
Common Crawl (UA)
iInfo
Návštevy CCBot v logoch. Odlišné od “footprintu” v CC indexoch (nižšie).
SEO crawlers
iInfo
Komerčné crawlery typu Ahrefs/Semrush – audit webu, nie discovery pre ľudí.
Unknown bots
iInfo
Nezaradené UA, ktoré vyzerajú ako bot/crawler. Pre transparentnosť. Defaultne zbalené nižšie.
Dôležité: Crawlovanie/indexácia ≠ dôkaz tréningu AI modelov. Je to dôkaz, že systémy stránku prechádzajú a vytvárajú/aktualizujú si záznamy.
Trend (7 dní)
2026-02-10 → 2026-02-16 • 7 dní
Search indexing
max/deň 58 315avg/deň 36 768súčet 257 377
AI crawlers
max/deň 35 706avg/deň 17 724súčet 124 068
Common Crawl (UA)
max/deň 228avg/deň 110súčet 770
SEO crawlers
max/deň 12 170avg/deň 7 298súčet 51 087
Unknown bots
max/deň 748avg/deň 353súčet 2 471
Top boty
Súčet za zvolený rozsah.
| Názov | Requesty |
|---|---|
| Google Search | 253 548 |
| ChatGPT (GPTBot / OAI) | 67 303 |
| SEO Crawlers | 51 087 |
| Bing AI (Copilot) | 44 786 |
| Amazon | 43 679 |
| ByteDance | 10 204 |
| Meta | 5 405 |
| Apple | 3 198 |
| Huawei / Petal | 2 472 |
| Timpi | 2 297 |
| Claude (Anthropic) | 1 141 |
| Common Crawl | 770 |
| Perplexity / DDG | 634 |
| Other Search Engines | 631 |
Common Crawl footprint
Externý indexový “odtlačok” (sken všetkých CC indexov).
Status
RUNNING
Indexy spracované
78 / 120
URL záznamy (súčet naprieč indexmi)
24 584
Aktualizované
2026-02-17 10:55 UTC
Footprint je uložený po indexoch ako
JSONL.GZ (streamované).Unknown boty (detail)2 471
Najčastejšie user-agenty z “unknown” skupiny pre zvolený rozsah.
| Názov | Requesty |
|---|---|
| Mozilla/5.0 (compatible; BingIndexCrawler/1.0) | 1 831 |
| CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/) | 229 |
| Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ShapBot/0.1.0 | 90 |
| SirdataBot (+https://semantic-api.docs.sirdata.net/contextual-api/contextual-api/introduction) | 53 |
| Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazing-SearchBot/0.1; +https://amazing.com/bot.html) Chrome/119.0.6045.214 Safari/537.36 | 39 |
| Mozilla/5.0 (compatible; archive.org_bot +http://archive.org/details/archive.org_bot) Zeno/0344175 warc/v0.8.97 | 36 |
| Mozilla/5.0 (compatible; crawler) | 35 |
| Mozilla/5.0 (compatible; YaK/1.0; http://linkfluence.com/; [email protected]) | 22 |
| Nextcloud Server Crawler | 22 |
| Chrome Privacy Preserving Prefetch Proxy | 19 |
| Mozilla/5.0 (compatible; WellKnownBot/0.1; +https://well-known.dev/about/#bot) | 16 |
| COIBotParser/2.0 | 13 |
| Mozilla/5.0 (compatible; Pinterestbot/1.0; +http://www.pinterest.com/bot.html) | 11 |
| Mozilla/5.0 (compatible; wpbot/1.4; +https://forms.gle/ajBaxygz9jSR8p8G9) | 8 |
| belarus-search-bot/1.0 (Belarusian open-source web crawler; https://blysk.run/bot; [email protected]) | 7 |
| Feedly/1.0 (+http://www.feedly.com/fetcher.html; 1 subscribers; ) | 6 |
| Mozilla/5.0 (keys-so-bot) | 6 |
| IABot/2.0 (+https://meta.wikimedia.org/wiki/InternetArchiveBot/FAQ_for_sysadmins) (Checking if link from Wikipedia is broken and needs removal) | 5 |
| Mozilla/5.0 (Windows NT 10.0; Win64; x64; trendictionbot0.5.0; trendiction search; http://www.trendiction.de/bot; please let us know of any problems; web at trendiction.com) Gecko/20100101 Firefox/125.0 | 4 |
| AliyunSecBot/Aliyun ([email protected]) | 3 |