Search indexing
iInfo
Indexácia vyhľadávačmi: Google/Bing + ďalšie. Toto je “objavovanie” a obnovovanie indexu.
AI crawlers
iInfo
AI crawlery: GPTBot, Perplexity, Claude, ByteDance… (crawlovanie ≠ dôkaz tréningu).
Common Crawl (UA)
iInfo
Návštevy CCBot v logoch. Odlišné od “footprintu” v CC indexoch (nižšie).
SEO crawlers
iInfo
Komerčné crawlery typu Ahrefs/Semrush – audit webu, nie discovery pre ľudí.
Unknown bots
iInfo
Nezaradené UA, ktoré vyzerajú ako bot/crawler. Pre transparentnosť. Defaultne zbalené nižšie.
Dôležité: Crawlovanie/indexácia ≠ dôkaz tréningu AI modelov. Je to dôkaz, že systémy stránku prechádzajú a vytvárajú/aktualizujú si záznamy.
Trend (30 dní)
2026-02-14 → 2026-03-15 • 30 dní
Search indexing
max/deň 94 274avg/deň 30 128súčet 903 832
AI crawlers
max/deň 170 622avg/deň 44 944súčet 1 348 313
Common Crawl (UA)
max/deň 317avg/deň 58súčet 1 734
SEO crawlers
max/deň 24 393avg/deň 6 937súčet 208 099
Unknown bots
max/deň 5 390avg/deň 1 097súčet 32 906
Top boty
Súčet za zvolený rozsah.
| Názov | Requesty |
|---|---|
| ChatGPT (GPTBot / OAI) | 1 098 204 |
| Google Search | 884 155 |
| Amazon | 606 833 |
| Meta | 415 889 |
| SEO Crawlers | 208 099 |
| Bing AI (Copilot) | 191 922 |
| ByteDance | 43 799 |
| Apple | 16 653 |
| Claude (Anthropic) | 11 939 |
| Huawei / Petal | 10 308 |
| Other Search Engines | 3 024 |
| Perplexity / DDG | 2 449 |
| Common Crawl | 1 734 |
| Timpi | 1 098 |
Common Crawl footprint
Externý indexový “odtlačok” (sken všetkých CC indexov).
Status
OK
Indexy spracované
121 / 121
URL záznamy (súčet naprieč indexmi)
26 435
Aktualizované
2026-03-16 14:20 UTC
Footprint je uložený po indexoch ako
JSONL.GZ (streamované).Unknown boty (detail)32 906
Najčastejšie user-agenty z “unknown” skupiny pre zvolený rozsah.
| Názov | Requesty |
|---|---|
| Mozilla/5.0 (compatible; BingIndexCrawler/1.0) | 19 183 |
| serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; [email protected]) | 5 101 |
| FindFiles.net/1.0 (compatible; +https://findfiles.net/bot) | 1 971 |
| CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/) | 1 891 |
| FindFiles.net-LinkChecker/1.0 (+https://findfiles.net/bot) | 714 |
| Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ShapBot/0.1.0 | 529 |
| Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.6312.86 Safari/537.36 BitSightBot/1.0 | 506 |
| Chrome Privacy Preserving Prefetch Proxy | 427 |
| Mozilla/5.0 (compatible; YaK/1.0; http://linkfluence.com/; [email protected]) | 391 |
| SirdataBot (+https://semantic-api.docs.sirdata.net/contextual-api/contextual-api/introduction) | 278 |
| Mozilla/5.0 (Windows NT 6.3;compatible; Leikibot/1.0; +http://www.leiki.com) | 254 |
| Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; AudigentAdBot; +http://www.audigent.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 | 246 |
| Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazing-SearchBot/0.1; +https://amazing.com/bot.html) Chrome/119.0.6045.214 Safari/537.36 | 149 |
| Mozilla/5.0 (compatible; WellKnownBot/0.1; +https://well-known.dev/about/#bot) | 145 |
| IAS Crawler (ias_crawler; http://integralads.com/site-indexing-policy/) | 94 |
| Mozilla/5.0 (compatible; crawler) | 88 |
| Mozilla/5.0 (compatible; Pinterestbot/1.0; +http://www.pinterest.com/bot.html) | 76 |
| Amazon-Advertising-ad-standards-bot/1.0 | 70 |
| Mozilla/5.0 (Windows NT 6.3;compatible; DVbot/1.0; +http://www.doubleverify.com) | 64 |
| DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot) | 54 |