Ursache 1: Zugriffsverweigerung der robots.txt Datei
Problem:
Google kann nicht auf die Bilder der Website zugreifen.
Die robots.txt liegt im Wurzelverzeichnis des Webservers unter http://www.beispiel.de/robots.txt. Die Bild URLs im Feed können nicht gecrawlt werden, da die robots.txt Datei den Zugriff durch eine bestimmte Regel verweigert.
Lösung:
Die robots.txt Datei muss aktualisiert werden. Dabei muss dem User-Agent "googlebot-image" (für Bilder) und dem User-Agent "Googlebot" (für Websites) das Crawlen erlaubt werden.
Überprüfen Sie, ob folgende Zeilen in Ihrer robots.txt Datei vorhanden sind und passen Sie diese ggf. an. Die Zeilen, die das Crawlen verhindern, müssen ggf. in der robots.txt gelöscht und danach der Feed neu hochgeladen werden.
User-agent: Googlebot
Disallow:
User-agent: AdsBot-Google
Disallow:
User-agent: Googlebot-Image
Disallow:
Tipp: Über die Search Console kann mit zwei Tools die robots.txt getestet werden:
- Mit dem Search Console Tool zum Testen der robots.txt kann jede betroffene Bild-URL getestet werden. Die URL wird dafür einfach in das Tool eingefügt und im Anschluss kann - wenn Probleme auftreten - die entsprechende Zeile, die das fehlerfreie Crawlen verhindert identifiziert werden.
- Über Abruf wie durch Google kann getestet werden, ob der Googlebot auf eine Seite Ihrer Website ohne Probleme zugreifen und diese crawlen kann. Dabei wird auch berücksichtigt, ob irgendwelche Elemente wie beispielsweise Bilder oder Skripts für den Googlebot blockiert sind.