Start Google Merchant Center Merchant Center Crawling der Bilder durch robots.txt verhindert

Kritischer Fehler: Crawling der Bilder durch robots.txt verhindert

Dieses Merchant Center Problem liegt auf Artikelebene vor. Auf dieser Seite finden Sie Informationen zu möglichen Ursachen und Lösungsansätzen. » Zur Übersicht aller Google Merchant Center Fehler

Fehlermeldung im Google Merchant Center:

Aufgrund einer Einschränkung für robots.txt können Bilder nicht gecrawlt werden


Englische Fehlermeldung:

Images cannot be crawled because of robots.txt restriction

Was bedeutet dieser Fehler?

Im Attribut image_link (deutsch: Bildlink) der betroffenen Artikel wurde ein Link zum Bild angegeben, der von Google nicht gecrawlt werden kann. Die Datei robots.txt verhindert dabei das Herunterladen der Seite durch Google und somit auch das Crawling.


Ursache 1: Zugriffsverweigerung der robots.txt Datei

Problem:

Google kann nicht auf die Bilder der Website zugreifen.

Die robots.txt liegt im Wurzelverzeichnis des Webservers unter http://www.beispiel.de/robots.txt. Die Bild URLs im Feed können nicht gecrawlt werden, da die robots.txt Datei den Zugriff durch eine bestimmte Regel verweigert. 


Lösung:

Die robots.txt Datei muss aktualisiert werden. Dabei muss dem User-Agent "googlebot-image" (für Bilder) und dem User-Agent "Googlebot" (für Websites) das Crawlen erlaubt werden. 

Überprüfen Sie, ob folgende Zeilen in Ihrer robots.txt Datei vorhanden sind und passen Sie diese ggf. an. Die Zeilen, die das Crawlen verhindern, müssen ggf. in der robots.txt gelöscht und danach der Feed neu hochgeladen werden.

User-agent: Googlebot
Disallow:


User-agent: AdsBot-Google
Disallow:


User-agent: Googlebot-Image
Disallow:

Tipp: Über die Search Console kann mit zwei Tools die robots.txt getestet werden:

  1. Mit dem Search Console Tool zum Testen der robots.txt kann jede betroffene Bild-URL getestet werden. Die URL wird dafür einfach in das Tool eingefügt und im Anschluss kann - wenn Probleme auftreten - die entsprechende Zeile, die das fehlerfreie Crawlen verhindert identifiziert werden.
  2. Über Abruf wie durch Google kann getestet werden, ob der Googlebot auf eine Seite Ihrer Website ohne Probleme zugreifen und diese crawlen kann. Dabei wird auch berücksichtigt, ob irgendwelche Elemente wie beispielsweise Bilder oder Skripts für den Googlebot blockiert sind. 
Fanden Sie den Artikel hilfreich?
Durchschnitt: 1.2 (59 votes)
Brauchen Sie Hilfe bei diesem Problem?

Mit dem Google Merchant Center kennen wir uns aus: Schreiben Sie uns eine kurze Nachricht und wir kümmern uns um Ihr Anliegen.

Jetzt Kontakt aufnehmen »