{"id":763,"date":"2017-12-14T16:06:09","date_gmt":"2017-12-14T16:06:09","guid":{"rendered":"https:\/\/sitechecker.pro\/?page_id=763"},"modified":"2024-08-12T21:43:37","modified_gmt":"2024-08-12T19:43:37","slug":"robots-tester","status":"publish","type":"page","link":"https:\/\/test.sitechecker.pro\/de\/robots-tester\/","title":{"rendered":"Robots.txt Tester: Verwendung der Datei robots.txt"},"content":{"rendered":"<p>Die Datei robots.txt liefert Suchsystemen die Information, die sie braucht, um verwertbare Suchergebnisse zu liefern. Bevor sie Ihre Site durchsucht, durchleuchten Tobots diese Datei. Diese Prozedur macht das Scannen effizienter. Damit helfen Sie Suchsystemen, sodas die wichtigsten Daten auf Ihrer ersten Seite zuerst indiziert werden, dann der Rest. Aber das ist nur m\u00f6glich, wenn Sie eine korrekt konfigurierte robots.txt haben.<\/p>\n<p>\u00c4hnlich wie die robots.txt Datei gibt die noindex-Anweisung im Meta Tag Robots nur eine Empfehlung f\u00fcr Robots. Das ist der Grund, warum sie nicht garantieren k\u00f6nnen, dass diese verschlossenen Seiten nicht indiziert warden und nicht im Index inkludiert sein warden. Garantien in dieser Sache sind ohnehin unangebracht. Wenn Sie eine Seite wirklich von der Indizierung ausschlie\u00dfen wollne, m\u00fcssen Sie ein Passwort setzen, damit das Verzeichnis geschlossen bleibt.<\/p>\n<h2 id=\"mainsyntax\">Hauptsyntax<\/h2>\n<p>&nbsp;<\/p>\n<p><strong>User-Agent:<\/strong> Der Robot wird die folgenden Regeln anwenden (beispielsweise der \u201cGooglebot\u201d)<\/p>\n<p><strong>Disallow:<\/strong> (dt: Verbieten) die Seiten, die Sie vor Zugriff ausschlie\u00dfen wollen (am Beginn jeder neuen Zeile k\u00f6nnen Sie eine lange Liste von gew\u00fcnschten Pfaden einschlie\u00dfen)<\/p>\n<p>Jede Gruppe User-Agent \/ Disallow sollte mit einer Leerzeile abgetrennt werden. Aber nicht-leere Strings d\u00fcrfen nicht innerhalb einer Gruppe (zwischen User-Agent und dem letzten Disallow-Pfad) aufscheinen.<\/p>\n<p><strong>Hash mark (#)<\/strong> kann verwendet werden, um ggf. Kommentare in der robots.txt innerhalb einer aktuellen Zeile einzupflegen. Alles, was nach dem Hash Mark angef\u00fchrt wird, wird ignoriert. Wenn Sie mit einem robot txt Dateigenerator arbeiten, ist dieser Kommentar f\u00fcr die ganze Zeile oder auch am Ende davon nach den Pfaden anwendbar.<\/p>\n<p>Kataloge und Dateinamen sind Verzeichnis-sensibel: Das Suchsystem akzeptiert \u00abCatalog\u00bb, \u00abcatalog\u00bb und \u00abCATALOG\u00bb als unterschiedliche Pfade.<\/p>\n<p><strong>Host:<\/strong> wird f\u00fcr Yandex verwendet, um Mirrorsites hervorzuheben. Das ist der Grund, warum Sie eine <a href=\"http:\/\/test.sitechecker.pro\/de\/301-redirect\/\" target=\"_blank\" rel=\"noopener noreferrer\">301 Weiterleitung<\/a> pro Seite einpflegen, um zwei Sites miteinander zusammen zu kleben. Es gibt keinen Grund, diese Prozedur in der robots.txt zu wiederholen (auf der Dupplikatseite). Somit wird Yandex den angegebenen Pfad auf der Seite, die angeheftet wird, finden.<\/p>\n<p><strong>Crawl-delay:<\/strong> (dt: Crawl-Verz\u00f6gerung) Sie k\u00f6nnen die Geschwindigkeit Ihrer Seitendurchkreuzung limitieren. Das ist ideal, wenn es zu hoher Aufmerskamkeitsfrequenz auf Ihrer Site kommt. Diese Option ist verf\u00fcgbar, um die robot.txt Dateigeneratoren von zus\u00e4tzlichen Problemen mit einer Extraladung Ihres Servers, verursacht durch Suchsysteme, die Informationen auf Ihrer Site suchen, zu bewahren.<\/p>\n<p><strong>Regular phrases:<\/strong> (dt: regelm\u00e4\u00dfige Ausdr\u00fccke) f\u00fcr flexiblere Einstellungen der Pfade k\u00f6nnen Sie die beiden Symbole unten verwenden:<br \/>\n<strong>*<\/strong> (Stern) \u2013 kennzeichnet jede Symbolsequenz,<br \/>\n<strong>$<\/strong> (Dollarzeichen) \u2013 steht f\u00fcr das Ende der Zeile.<\/p>\n<p>&nbsp;<\/p>\n<h2 id=\"mainexamples\">Hauptbeispiele f\u00fcr die Verwendung des robots.txt Generators<\/h2>\n<p>&nbsp;<\/p>\n<h3 id=\"banonsite\">Bann der Indizierung auf der kompletten Site<\/h3>\n<div class=\"code\"><code>User-agent: *<br \/>\nDisallow: \/<\/code><\/div>\n<p>Diese Anleitung muss verwendet werden, wenn Sie eine neue Site erzeugen und Subdomains verwenden, um Zugriff darauf zu gew\u00e4hren.<br \/>\nH\u00e4ufig vergessen Web Entwickler, wenn Sie auf einer neuen Site arbeiten, einige Teile der Site von der Indizierung auszuschlie\u00dfen. Als Ergebnis legen Indiziersysteme eine komplette Kopie davon an. Wenn solche Fehler passiert sind, muss Ihre Masterdomain auf jeder Seite eine 301 Weiterleitung bekommen. Robot.txt Generator kann hier tolle Dienste leisten!<\/p>\n<p>&nbsp;<\/p>\n<h3>Die folgende Konstruktion VERHINDERT die Indizeirung der kompletten Site:<\/h3>\n<div class=\"code\"><code>User-agent: *<br \/>\nDisallow:<br \/>\n<\/code><\/div>\n<p>&nbsp;<\/p>\n<h3 id=\"banonfolder\">Bann der Indizierung von einem bestimmten Verzeichnis<\/h3>\n<div class=\"code\"><code>User-agent: Googlebot<br \/>\nDisallow: \/no-index\/<br \/>\n<\/code><\/div>\n<p>&nbsp;<\/p>\n<h3 id=\"banforrobot\">Bann eines bestimmten Robots beim Besuch einer Seite<\/h3>\n<div class=\"code\"><code>User-agent: Googlebot<br \/>\nDisallow: \/no-index\/this-page.html<br \/>\n<\/code><\/div>\n<p>&nbsp;<\/p>\n<h3 id=\"banonfiletype\">Bann der Indizierung einzelner Dateitypen<\/h3>\n<div class=\"code\"><code>User-agent: *<br \/>\nDisallow: \/*.pdf$<br \/>\n<\/code><\/div>\n<p>&nbsp;<\/p>\n<h3 id=\"allowpage\">Um einen Besuch einer bestimmten Seite f\u00fcr einen bestimmten Web Robot zu erlauben<\/h3>\n<div class=\"code\"><code>User-agent: *<br \/>\nDisallow: \/no-bots\/block-all-bots-except-rogerbot-page.html<br \/>\nUser-agent: Yandex<br \/>\nAllow: \/no-bots\/block-all-bots-except-Yandex-page.html<br \/>\n<\/code><\/div>\n<p>&nbsp;<\/p>\n<h3 id=\"linktositemap\">Website Link zur Sitemap<\/h3>\n<div class=\"code\"><code>User-agent: *<br \/>\nDisallow:<br \/>\nSitemap: http:\/\/www.example.com\/none-standard-location\/sitemap.xml<br \/>\n<\/code><\/div>\n<p>Besonderheiten, die ber\u00fccksichtigt werden sollen, wenn dieser Pfad benutzt wird, wenn Sie die Site mit einzigartigen Inhalten f\u00fcllen:<\/p>\n<ul>\n<li>F\u00fcgen Sie keinen Link in Ihrer Site Map im Robots Textdatei Generator hinzu;<\/li>\n<li>W\u00e4hlen Sie einige nicht standardm\u00e4\u00dfige Namen f\u00fcr die Site Map von sitemap.xml (beispielsweise my-new-sitemap.xml und dann f\u00fcgen Sie den Link zum Suchsystem mittels Webmaster);<\/li>\n<\/ul>\n<p>weil viele unfaire Webmaster zerlegen den Inhalt anderer Sites au\u00dfer ihre eigenen und verwenden diese f\u00fcr deren eigene Projekte.<\/p>\n<p><span style=\"font-weight: 400;\">    <div class=\"blog__conversion blog__conversion-app element__logged_out\">\n        <div class=\"blog__conversion-inner\">\n            <p class=\"title\">\u00dcberpr\u00fcfen Sie auf Ihren Webseiten den Indexierungsstatus<\/p>\n            <p class=\"description\">Erkennen Sie alle nicht indizierten URLs in und finden Sie heraus, welche Websiteseiten von Suchmaschinen-Bots gecrawlt werden d\u00fcrfen<\/p>\n            <form id=\"audit__form\"\n                  class=\"article__seo-search audit__form Erkennen Sie alle nicht indizierten URLs in und finden Sie heraus, welche Websiteseiten von Suchmaschinen-Bots gecrawlt werden d\u00fcrfen\"\n                  action=\"\"\n                  method=\"POST\"\n                  autocomplete=\"off\">\n                <span class=\"error\"><\/span>\n                <div class=\"error__limits\">Something went wrong. Please, try again later.<\/div>\n                <input name=\"url\"\n                       type=\"text\"\n                       placeholder=\"Geben Sie Ihre Domain ein, um zu beginnen\">\n                                <button type=\"submit\"\n                        class=\"sitechecker__text\">\n                    <span>Starten Sie das Audit<\/span>\n                    <img src=\"\/wp-content\/themes\/sitechecker\/out\/img_design\/loading.svg\"\n                         width=\"31\"\n                         height=\"30\"\n                         class=\"loading\">\n                <\/button>\n            <\/form>\n        <\/div>\n    <\/div>\n    <\/span><\/p>\n<h2 id=\"robotsornoindex\">Was ist besser \u2013 Robots txt Generator oder Noindex?<\/h2>\n<p>&nbsp;<\/p>\n<p>Wenn Sie wollen, dass manche Seiten von der Indizierung ausgeschlossen werden, ist Noindex im Meta Tag Robots empfehlenswerter. Um dies zu implementieren, m\u00fcssen Sie den folgenden <a href=\"http:\/\/test.sitechecker.pro\/de\/meta-tags\/\" target=\"_blank\" rel=\"noopener noreferrer\">Meta Tag<\/a> im Bereich Ihrer Seite einf\u00fcgen:<\/p>\n<div class=\"code\"><code>&lt;meta name=\u201drobots\u201d content=\u201dnoindex, follow\u201d&gt;<\/code><\/div>\n<p>Wenn Sie diesen Ansatz verwenden, werden Sie:<\/p>\n<ul>\n<li>die Indizierung bestimmter Seiten w\u00e4hrend des Besuchs des Web Robots verhindern (Sie m\u00fcssen dann keine Seiten manuell mittels Webmaster l\u00f6schen);<\/li>\n<li>es schaffen, den Link Juice Ihrer Seite zu \u00fcbertragen.<\/li>\n<\/ul>\n<p>Robots txt Dateigenerator ist besser, wenn es darum geht, folgende Seiten auszuschlie\u00dfen:<\/p>\n<ul>\n<li>administrative Seiten Ihrer Site;<\/li>\n<li>Suchdaten auf der Site;<\/li>\n<li>Seiten der Registrierung\/Authentifizierung\/Passwort-R\u00fccksetzung.<\/li>\n<\/ul>\n<p>&nbsp;<\/p>\n<h2 id=\"tools\">Welches Tool verwenden und wie kann es helfen, die robots.txt Datei zu pr\u00fcfen?<\/h2>\n<p>&nbsp;<\/p>\n<p>Wenn Sie eine robots.txt generieren, m\u00fcssen Sie \u00fcberpr\u00fcfen, ob diese irgendwelche Fehler enth\u00e4lt. Die robots.txt \u00dcberpr\u00fcfung der Suchsysteme kann Ihnen dabei helfen:<\/p>\n<p>&nbsp;<\/p>\n<p><strong><a href=\"https:\/\/www.google.com\/webmasters\/\" target=\"_blank\" rel=\"noopener noreferrer\">Google Webmasters<\/a><\/strong><\/p>\n<p>Melden Sie sich mit dem Acocunt der aktuellen Site auf der Plattform an, gehen Sie zu <strong>Crawl<\/strong>, dann zu <strong>robots.txt Tester<\/strong>.<\/p>\n<p>&nbsp;<\/p>\n<div class=\"content__img-wrap\"><img src=\"http:\/\/test.sitechecker.pro\/wp-content\/uploads\/2017\/12\/robots-txt-tester-in-Google-Webmaster-Tools.png\" alt=\"Robots.txt tester in Google Search Console\" class=\"description-img description-img-zoom\" loading=\"lazy\" ><\/div>\n<p>&nbsp;<\/p>\n<p>Dieser Robot txt Test erlaubt es:<\/p>\n<ul>\n<li>alle Fehler und m\u00f6glichen Probleme auf einmal zu finden;<\/li>\n<li>Fehler zu suchen und alle ben\u00f6tigten Korrekturen sofort zu t\u00e4tigen, um die neue Datei auf Ihrer Site ohne zus\u00e4tzliche \u00c4nderungen zu installieren;<\/li>\n<li>Herauszufinden, ob Sie die Seiten, die Sie von der Indizierung ausgeschlossen haben, passen oder ob die, die indiziert werden sollen, auch offen sind.<\/li>\n<\/ul>\n<p>&nbsp;<\/p>\n<p><strong><a href=\"https:\/\/webmaster.yandex.com\/\" target=\"_blank\" rel=\"noopener noreferrer\">Yandex Webmaster<\/a><\/strong><\/p>\n<p>Melden Sie sich am Account der aktuellen Site an, gehen Sie zu <strong>Tools<\/strong> und dann zu <strong>Robots.txt Analysis<\/strong>.<\/p>\n<p>&nbsp;<\/p>\n<div class=\"content__img-wrap\"><img src=\"http:\/\/test.sitechecker.pro\/wp-content\/uploads\/2017\/12\/robots-txt-tester-in-Yandex-Webmaster-Tools.png\" alt=\"Robobts txt generator for Yandex\" class=\"description-img description-img-zoom\" loading=\"lazy\" ><\/div>\n<p>&nbsp;<\/p>\n<p>Dieser Tester bietet fast identische M\u00f6glichkeiten f\u00fcr die Verifizierung wie die oben beschriebene. Die Unterschiede sind:<\/p>\n<ul>\n<li>Hier m\u00fcssen Sie sich nicht authorizieren, um die Rechte f\u00fcr eine Site zu best\u00e4tigen, die eine direkte Verifizierung zu Ihrer robots.txt Datei bietet;<\/li>\n<li>Es gibt keine Notwendigkeit, pro Seite folgendes einzuf\u00fcgen: Die komplette Liste der Seiten kann innerhalb einer Session \u00fcberpr\u00fcft werden<\/li>\n<li>Sie k\u00f6nnen sicher sein, dass Yandex Ihre Instruktionen passend durchgef\u00fchrt hat.<\/li>\n<\/ul>\n<p id=\"check\">\n<p><\/p>","protected":false},"excerpt":{"rendered":"Die Datei robots.txt liefert Suchsystemen die Information, die sie braucht, um verwertbare Suchergebnisse zu liefern. Bevor sie Ihre Site durchsucht, durchleuchten Tobots diese Datei. Diese Prozedur macht das Scannen effizienter. Damit helfen Sie Suchsystemen, sodas die wichtigsten Daten auf Ihrer ersten Seite zuerst indiziert werden, dann der Rest. Aber das ist nur m\u00f6glich, wenn Sie&#8230;","protected":false},"author":10380808,"featured_media":3355,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"pages-templates\/pages-minitools-3.php","meta":[],"categories":[59],"tags":[],"_links":{"self":[{"href":"https:\/\/test.sitechecker.pro\/de\/wp-json\/wp\/v2\/pages\/763"}],"collection":[{"href":"https:\/\/test.sitechecker.pro\/de\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/test.sitechecker.pro\/de\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/test.sitechecker.pro\/de\/wp-json\/wp\/v2\/users\/10380808"}],"replies":[{"embeddable":true,"href":"https:\/\/test.sitechecker.pro\/de\/wp-json\/wp\/v2\/comments?post=763"}],"version-history":[{"count":0,"href":"https:\/\/test.sitechecker.pro\/de\/wp-json\/wp\/v2\/pages\/763\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/test.sitechecker.pro\/de\/wp-json\/wp\/v2\/media\/3355"}],"wp:attachment":[{"href":"https:\/\/test.sitechecker.pro\/de\/wp-json\/wp\/v2\/media?parent=763"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/test.sitechecker.pro\/de\/wp-json\/wp\/v2\/categories?post=763"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/test.sitechecker.pro\/de\/wp-json\/wp\/v2\/tags?post=763"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}