Search indexing
iInfo
Indexácia vyhľadávačmi: Google/Bing + ďalšie. Toto je “objavovanie” a obnovovanie indexu.
AI crawlers
iInfo
AI crawlery: GPTBot, Perplexity, Claude, ByteDance… (crawlovanie ≠ dôkaz tréningu).
Common Crawl (UA)
iInfo
Návštevy CCBot v logoch. Odlišné od “footprintu” v CC indexoch (nižšie).
SEO crawlers
iInfo
Komerčné crawlery typu Ahrefs/Semrush – audit webu, nie discovery pre ľudí.
Unknown bots
iInfo
Nezaradené UA, ktoré vyzerajú ako bot/crawler. Pre transparentnosť. Defaultne zbalené nižšie.
Dôležité: Crawlovanie/indexácia ≠ dôkaz tréningu AI modelov. Je to dôkaz, že systémy stránku prechádzajú a vytvárajú/aktualizujú si záznamy.
Trend (Všetko)
2026-01-05 → 2026-02-16 • 43 dní
Search indexing
max/deň 60 744avg/deň 24 164súčet 1 039 062
AI crawlers
max/deň 66 730avg/deň 13 854súčet 595 738
Common Crawl (UA)
max/deň 228avg/deň 18súčet 770
SEO crawlers
max/deň 52 964avg/deň 7 166súčet 308 121
Unknown bots
max/deň 1 507avg/deň 231súčet 9 942
Top boty
Súčet za zvolený rozsah.
| Názov | Requesty |
|---|---|
| Google Search | 1 012 572 |
| ChatGPT (GPTBot / OAI) | 347 744 |
| SEO Crawlers | 308 121 |
| Bing AI (Copilot) | 231 073 |
| Amazon | 151 137 |
| Meta | 29 266 |
| Apple | 22 465 |
| Huawei / Petal | 16 297 |
| ByteDance | 10 729 |
| Other Search Engines | 4 025 |
| Perplexity / DDG | 3 241 |
| Claude (Anthropic) | 2 951 |
| Timpi | 2 544 |
| Common Crawl | 770 |
Common Crawl footprint
Externý indexový “odtlačok” (sken všetkých CC indexov).
Status
RUNNING
Indexy spracované
78 / 120
URL záznamy (súčet naprieč indexmi)
24 584
Aktualizované
2026-02-17 10:55 UTC
Footprint je uložený po indexoch ako
JSONL.GZ (streamované).Unknown boty (detail)9 942
Najčastejšie user-agenty z “unknown” skupiny pre zvolený rozsah.
| Názov | Requesty |
|---|---|
| Mozilla/5.0 (compatible; BingIndexCrawler/1.0) | 1 831 |
| CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/) | 1 602 |
| COIBotLinkSaver/2.0 | 1 222 |
| Mozilla/5.0 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html) | 1 115 |
| Mozilla/5.0 (compatible; crawler) | 674 |
| expo-research-bot | 507 |
| SirdataBot (+https://semantic-api.docs.sirdata.net/contextual-api/contextual-api/introduction) | 476 |
| FindFiles.net-LinkChecker/1.0 (+https://findfiles.net/bot) | 467 |
| Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ShapBot/0.1.0 | 276 |
| bidswitchbot/1.0 | 225 |
| Mozilla/5.0 (compatible; YaK/1.0; http://linkfluence.com/; [email protected]) | 206 |
| Chrome Privacy Preserving Prefetch Proxy | 206 |
| Mozilla/5.0 (compatible; AmazonAdBot/1.0; +https://adbot.amazon.com) | 138 |
| Mozilla/5.0 (compatible; WellKnownBot/0.1; +https://well-known.dev/about/#bot) | 122 |
| Nextcloud Server Crawler | 104 |
| Mozilla/5.0 (compatible; Pinterestbot/1.0; +http://www.pinterest.com/bot.html) | 87 |
| AliyunSecBot/Aliyun ([email protected]) | 51 |
| Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36 Edg/140.0.0.0; 360Spider | 49 |
| Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; AudigentAdBot; +http://www.audigent.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 | 43 |
| Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazing-SearchBot/0.1; +https://amazing.com/bot.html) Chrome/119.0.6045.214 Safari/537.36 | 40 |