URL-Monitor agiert als Bot/Crawler, um die Inhalte der URLs zu analysieren. Der Bot folgt keinen Links und crawlt nur die hinterlegten URLs.

Der Bot crawlt standardmäßig 13 URLs gleichzeitig. Auf Wunsch kann das gerne auf 7 heruntergeregelt werden.

<strong>CRAWLER AUSSPERREN ODER WHITELISTEN</strong>

Wenn Du den Zugriff des Crawlers auf Deine Seite unterbinden möchtest oder die IP Adresse und die Useragents des Crawlers whitelisten möchtest, dann sende uns bitte eine Anfrage: