Hinwiederum, wird die robots.txt falsch verwendet, kann dies zu großen Problemen auf Suchergebnisseiten führen, wie Abbildung 1 zeigt. Im Mai 2019 hat Google den hauseigenen Google Crawler auf die aktuelle Chromium-Version 74 geupdatet. Abbildung 1: Von Google indexierte Webseiten, für die keine Beschreibungen angezeigt werden können, weil sie in der robots.txt vom Crawling ausgeschlossen sind. Der neue Crawler kann nun moderne SEO Optimierung erkennen und bessere Onpage Analysen…