URL-Monitor agiert als Bot/Crawler, um die Inhalte der URLs zu analysieren. Der Bot folgt keinen Links und crawlt nur die hinterlegten URLs.
Der Bot crawlt standardmäßig 13 URLs gleichzeitig. Auf Wunsch kann das gerne auf 7 heruntergeregelt werden.
CRAWLER AUSSPERREN ODER WHITELISTEN
Wenn Du den Zugriff des Crawlers auf Deine Seite unterbinden möchtest oder die IP Adresse und die Useragents des Crawlers whitelisten möchtest, dann sende uns bitte eine Anfrage: