User-agent: * # --- ERLAUBNISSE --- # Sitemaps explizit erlauben (immer ganz nach oben) Allow: /*/sitemap.xml # Bilder-Assets explizit erlauben (wichtig, falls übergeordnete Ordner gesperrt werden) Allow: /medias/*.jpg Allow: /medias/*.svg Allow: /medias/*.png # --- SPERRUNGEN --- # Interne Suche, Produktvergleiche und Empfehlungen blockieren # Schutz des Crawl-Budgets: Verhindert, dass Google unzählige Filter-URLs aufruft. Disallow: /*/search Disallow: /*/comparisonlist Disallow: /*/recommendation/ # FILTERSEITEN und PARAMETER # Schutz des Crawl-Budgets: Verhindert, dass Google unzählige Filter-URLs aufruft. # Bewusst per Disallow blockiert (obwohl die Seiten ein noindex haben), damit Google # wertvolle Crawl-Zeit nicht auf wertlosen Filterkombinationen verschwendet. Disallow: /*?f= Disallow: /*&f= # SPRACHVERSIONEN # Verhindert massiven Duplicate Content, da bereits englische Versionen existieren. Disallow: /de-en/ # SYSTEM-PFADE # Schützt vor der Indexierung reiner Zubehör-/System-URLs Disallow: /*/d/ Disallow: /*/pos/ Disallow: /*/api/ Disallow: /*/watchlist # HISTORISCHE PFADE # Diese Regeln bleiben aktiv, um alte oder irrelevante Pfade vom Crawling auszuschließen, JP ist in Klärung Disallow: /fastviewer/ Disallow: /productdata/ # DOKUMENTE und DOWNLOADS # Verhindert das Crawlen von Bewerbungs-PDFs und dynamischen Download-Skripten Disallow: /*/jobs/*/pdf Disallow: / *requestDownload