URL-Monitor agiert als Bot/Crawler, um die Inhalte der URLs zu analysieren. Der Bot folgt keinen Links und crawlt nur die hinterlegten URLs.
Der Bot crawlt standardmäßig 13 URLs gleichzeitig. Auf Wunsch kann das gerne auf 7 heruntergeregelt werden.
<strong>CRAWLER AUSSPERREN ODER WHITELISTEN</strong>
Wenn Du den Zugriff des Crawlers auf Deine Seite unterbinden möchtest oder die IP Adresse und die Useragents des Crawlers whitelisten möchtest, dann sende uns bitte eine Anfrage: