Technisches SEO – was ist das, und wie kann ich es nutzen?

Was versteht man unter technischem SEO?

Welche einzelnen Punkte gehören dazu?

Wie viel Einfluss hat die Optimierung der genannten Punkte auf den SEO Rank?

Welchen Nutzen hat die Optimierung dieser Punkte für die Nutzer der Webseite?

Welche (kostenlosen) Tools gibt es, die einem dabei helfen können?

Welche Empfehlungen gilt es bei der Optimierung zu beachten?

Technisches SEO: Wie das Analysieren von Server-Logs als Basis für Technical SEO die Search Performance verbessert

Zugegeben, in Zeiten ausgefeilter SEO-Tools und des Zugriffs auf praktisch alle Daten, die wir benötigen, mag die Idee, Server-Logs herunterzuladen und diese auszuweten, etwas seltsam erscheinen. Immerhin bietet schon die Google Search Console eine unglaubliche Bandbreite an Informationen, anhand derer Sie besser nachvollziehen können, wie Google Ihre Website betrachtet. Selbstverständlich können Sie diese Erkenntnisse für technisches SEO nutzen, um Ihre Suchleistung zu optimieren. Es ist jedoch die Server-Logfiles, die den genauesten Überblick darüber geben, wie Bots Ihre Site crawlen und verwenden. Diese Dateien sind der optimale Ausgangspunkt für technisches SEO.

In diesem Beitrag möchte wir kurz erläutern, wie Sie mithilfe einer Serverprotokollanalyse und technical SEO Ihre Ergebnisse verbessern können und warum Sie Erkenntnisse aus den Server-Logs nicht ignorieren sondern als Grundlage für technisches SEO ansehen sollten. Bevor wir näher auf die Server-Protokolldatei eingehen, wollen wir jedoch einige grundlegende Konzepte behandeln.

Erstens, welche spezifischen, für technische SEO relevanten Informationen kann eine Log Datei Ihnen liefern? Zum einen enthält das Server-Log Informationen zu jeder Anfrage für eine beliebige Datei (ein Bild, eine Seite, CSS usw.) sowie zusätzliche Daten zu diesem Request:

– Zeit und Datum der Anfrage
– Die IP address des anfragenden Clients
– HTTP Response Code
. Ggf den Referrer
. User Agent (Browser und Betriebssystem des Ursprungs der Anfrage oder die Suchmaschine, die die Anfrage gestellt hat)
. Die Angeforderte Datei

und weitere Informationen, die gegebenenfalls von Interesse für technisches SEO sein könnten. Hier ist ein Beispiel für einen Server-Log Eintrag (der natürlich Dummy-Daten zu Demonstrationszwecken enthält):

111.111.111.111 – – [26/Aug/2019:00:17:48 -0400] „GET /img/SEO.png HTTP/1.0“ 200 7342 „https://www.beispiel.com“ „Safari/8.05 (Macintosh; I; PPC)“

Nun wollen wir diesen Eintrag aufschlüsseln, um zu verstehen, welche Informationen er uns liefert: Die Anfrage kam am 26. August kurz nach Mitternacht von der IP-Adresse „111.111.111.111“, um ein bestimmtes Bild anzufordern. Der Server antwortete mit dem Response Code 200 (was OK bedeutet). Wir kennen auch die verweisende Domain für diese Anfrage und das Betriebssystem, mit dem auf die Datei zugegriffen wurde.

Auf den ersten Blick scheint das alles nicht besonders wichtig oder von allzu großer Relevanz für technisches SEO zu sein. Beachten Sie jedoch Folgendes: Was wäre, wenn dieser Datensatz Informationen zu einem Bot enthält, der nicht auf Ihre Website zugreifen kann? Oder ein nicht darstellbares Bild auf einer Seite aufgedeckt?

Die wenigsten SEO-Plattformen werden Ihnen dabei helfen, diese Probleme auf einer so feingranularen Ebene zu erkennen. Letztendlich sind die Server-Logs die einzige Möglichkeit, jeden Zugriff auf eine bestimmte Seite anzuzeigen – die Anforderung eines CSS, eines Bilds oder eines js-Scripts, und die Identifizierung von Problemen auf der tiefsten Ebene. Ein Server-Log jedoch enthält Informationen zu jeder einzelnen Anfrage auf Ihrer Site. Für technisches SEO können dabei in erster Linie die folgenden Indikatoren und Informationen gewonnen werden:

– Wie Suchmaschinen Ihre Seiten gecrawlt haben.
– Auf welche Probleme sie dabei möglicherweise gestoßen sind
– Auf welche Seiten konnten sie nicht zugreifen konnten
– Wer Ihre Besucher sind und woher sie kommen
– Welche Domains Ihnen den meisten Traffic senden
– Wie Ihre Besucher mit der interagieren.
– Ob Ihr Crawling-Budget effizient effizient genutzt wird

Wenn technical SEO und On-Page-SEO nicht optimal umgesetzt wird, haben auch alle anderen Maßnahmen, die unternommen werden könnten, um das Ranking einer Website zu verbessern, schlechte Chancen auf Erfolg. Technisches SEO ist der Schlüssel, wenn es darum geht, Suchmaschinen dabei zu helfen, Websites optimal zu crawlen, zu analysieren und zu indizieren. Über technical SEO wird gewissermaßen der Grundstein für ein erfolgreiches Ranking gelegt.

Mit das Wichtigste, das man bei technical SEO beachten sollte: Logfiles. Diese Protokolldateien enthalten die einzigen Daten, die in Bezug auf das Crawlen Ihrer Website durch Suchmaschinen 100% akkurat sind. Somit sind sie auch die verlässlichste Grundlage für technisches SEO. Indem wir Google bei der Erledigung seiner Aufgaben unterstützen, schaffen wir die Voraussetzungen für unsere zukünftige SEO-Arbeit und erleichtern uns diese Arbeit wesentlich. Die Protokollanalyse ist eine Facette der technical SEO, und die Korrektur der in Ihren Protokollen gefundenen Probleme führt zu höheren Rankings, mehr Zugriffen und schließlich auch zu mehr Conversions und Verkäufen.

Hier sind nur einige Gründe, warum Logfiles im Hinblick auf technisches SEO einige Bedeutung beigemessen werden sollte:

Zu viele Response Code Errors können dazu führen, dass Google das Crawling einer Website und möglicherweise sogar deren Rankings reduziert. Allein dieser Umstand zeigt, wie wichtig technisches SEO ist, und dass technical SEO quasi als Basis für alle darauf aufbauenden Aktivitäten, die dem Bereich Suchmaschinenoptimierung zugeordnet werden können, zu verstehen ist. Es gilt sicherzustellen, dass Suchmaschinen alle neuen und alten Elemente crawlen, die in den SERPs angezeigt werden sollen (und nur diese).

Es ist zudem von entscheidender Bedeutung, dass alle URL-Weiterleitungen eingehenden „Link Juice“ weiterleiten. Log-Analyse wird in SEO-Kreisen leider nur allzu selten diskutiert, erstaunlicherweise selbst dann nicht wenn es um technisches SEO geht. Deshalb darf dieser Artikel gerne auch als eine Art Einführung in die Loganalyse in einem technical SEO Kontext verstanden werden, von der wir hoffen, dass sie der Community hilft.

Was ist eine Logdatei und warum sind Log Files wichtig für technisches SEO?

Server, Betriebssysteme, Netzwerkgeräte und Anwendungen aller Art generieren in vielen Fällen automatisch einen sogenannten Log Eintrag, wenn sie eine Aktion ausführen. Im Kontext technisches SEO findet eine möglicherweise relevante Art von Aktion immer dann statt, wenn eine Seite von einem besuchenden Bot oder Menschen angefordert wird. Speziell Server-Protokolleinträge sind so umgesetzt, dass sie im Common Log Format des W3C-Konsortiums ausgegeben werden.

Jedes Mal, wenn ein Mensch – oder der Googlebot – eine Seite einer Website besuchen, wird eine Zeile mit Informationen zu diesem Aufruf vom Server ausgegeben, aufgezeichnet und gespeichert. Diese Informationen können Aufschluss darüber geben, wie Suchmaschinen eine Website „sehen“ – und sind deswegen interessant, wenn es darum geht, vielversprechende Ansätze für technisches SEO zu verfolgen.

Logeinträge werden fortlaufend generiert und können – abhängig von der Ebene eines bestimmten Servers, Netzwerks oder der Aktivität einer Anwendung – im Sekundentakt mehrere Tausend Datensätze umfassen. Eine Sammlung von Logeinträgen wird als Logdatei (Log File) oder häufig in der Umgangssprache als „Logs“ oder „die Logs“ bezeichnet und ist insofern das Gegenteil eines Blogs, als sich der neueste Eintrag ganz unten befindet. Einzelne Protokolldateien enthalten häufig Einträge für einen Kalendertag.

Was ist eine Log Analyse?

Bei der Loganalyse (oder Protokollanalyse) werden Protokolldateien im Hinblick auf einen bestimmten Zweck durchsucht. Der Hintergrund einer Loganalyse ist nicht zwangsläufig technical SEO – Einige häufige Gründe sind:

– Entwicklung und Qualitätssicherung (QS): Während der Entwicklung eines Programms oder einer Anwendung werden die Logs auf problematische Fehler untersucht, um sicherzustellen, dass diese ordnungsgemäß funktioniert

Netzwerkfehlerbehebung: Zur Identifizierung und Behebung von Systemfehlern in einem Netzwerk
Kundendienst: Zur Feststellung, was genau passiert ist, wenn ein Kunde ein technisches Problem mit einem Produkt hat
Sicherheitsprobleme: Untersuchung von Hacking-Vorfällen und anderen Eingriffen
Compliance-Fragen: Sammeln von Informationen als Reaktion auf Unternehmensrichtlinien oder Vorgaben des Gesetzgebers
Technisches SEO: Mehr dazu im Folgenden.

Log-Analyse wird selten regelmäßig durchgeführt. Normalerweise werden Protokolldateien nur als Reaktion auf einen Fehler, einen Hack, eine Vorladung, einen Fehler oder eine Fehlfunktion abgerufen, seltener um technisches SEO auf eine fundierte Basis zu haben. Diese Analysen sind in der Regel nichts, was irgendjemand andauernd tun möchte. Das hängt auch damit zusammen, dass Logs oft sehr zahlreich, umfangreich und unübersichtlich sind. Wenn eine Website 10.000 Besucher hat, die jeweils zehn Seiten pro Tag besuchen, erstellt der Server jeden Tag eine Protokolldatei, die aus 100.000 Protokolleinträgen besteht. Niemand hat die Zeit, dies alles manuell durchzugehen.

Protokollanalysen für technisches SEO durchführen

Es gibt drei grundsätzliche Möglichkeiten, um die Protokollanalyse im Hinblick auf technisches SEO Suchmaschinenoptimierung oder in einem anderen Kontext zu vereinfachen:

Selbermachen in Excel
Proprietäre Software wie Splunk oder Sumo-Logik
Die Open-Source-Software ELK Stack

Im Netz finden sich Anleitungen, die durch den Export eines Stapels von Protokolldateien nach Excel führen. Dies ist eine (relativ) schnelle und einfache Möglichkeit, eine einfache Protokollanalyse durchzuführen. Der Nachteil ist jedoch, dass nur eine Momentaufnahme und keine allgemeinen Trends angezeigt werden. Um die besten Daten zu erhalten, müssen entweder proprietäre Tools oder der ELK-Stack verwendet werden.

Splunk und Sumo-Logic sind proprietäre Tools zur Loganalyse, die hauptsächlich von Unternehmen verwendet werden. Der ELK Stack ist eine kostenlose und quelloffene Sammlung von drei Plattformen (Elasticsearch, Logstash und Kibana), die sich im Besitz von Elastic befinden und von kleineren Unternehmen häufiger verwendet werden.

Technisches SEO auf Basis von Log-Daten

Wie auch immer wir auf Protokolldaten zuzugreifen und diese analysieren, es gibt viele wichtige technische SEO-Probleme, die bei Bedarf behoben werden müssen. Im folgenden besprechen wir, welche Daten für technical SEO interessant sein können.

Bot Crawl Volume

Es ist wichtig zu wissen, wie viele Anfragen Baidu, BingBot, GoogleBot, Yahoo, Yandex, „Andere“ und „Alle“ innerhalb eines bestimmten Zeitraums gesendet haben. Wenn man beispielsweise in den Suchergebnissen in Russland gefunden werden möchte, Yandex jedoch die Website aber nicht crawlt, ist dies ein Problem.

Antwortcode-Fehler

Das HTTP-Protokoll umfasst zahlreiche Response Code Errors, im Netz findet man schnell einen guten Überblick über die Bedeutung der verschiedenen Statuscodes. Oft macht es Sinn, ein Warnsystem einzurichten, das sofort über 4XX- und 5XX-Fehler informiert, da diese sehr bedeutend sind.

Temporäre Weiterleitungen

Temporäre 302-Weiterleitungen leiten den „Link-Juice“ externer Links von der alten URL nicht an die neue weiter. Fast immer sollten sie deshalb auf 301 Weiterleitungen geändert werden.

Crawl Budget Verschwendung

Google weist jeder Website basierend auf zahlreichen Faktoren ein Crawling-Budget zu. Wenn ein Crawl Budget beispielsweise 100 Seiten pro Tag (oder die entsprechende Datenmenge) beträgt, möchten man sichergehen, dass alle 100 Seiten, die gerawled werden, auch in den SERPs angezeigt werden sollen. Unabhängig davon, was man in seine robots.txt-Datei und seine Meta-Robots-Tags schreibt, verschwendet man möglicherweise sein Crawling-Budget für kampagnenspezifische Landing Pages, interne Skripte und Ähnliches.

Wenn das Crawling-Limit überschritten wurde, aber immer noch neuer Content vorhanden ist, der indiziert werden sollte, um in den Suchergebnissen angezeigt zu werden, wird die Website möglicherweise von Google vor dem Auffinden dieser Inhalte wieder verlassen.

Doppeltes Crawlen von URLs

Das Hinzufügen von URL-Parametern – etwa für das Tracking zu Marketingzwecken verwendet – führt häufig dazu, dass Suchmaschinen Crawling-Budgets verschwenden, indem sie verschiedene URLs, die alle auf denselben Inhalt verweisen, crawlen.

Crawling-Priorität

Google ignoriert möglicherweise eine wichtige Seite oder einen wichtigen Abschnitt einer Website (und crawlt oder indiziert sie nicht). Die Protokolle zeigen, welche URLs und / oder Verzeichnisse am meisten und am wenigsten Beachtung finden. Wenn wir beispielsweise ein E-Book veröffentlicht haben, das versucht, eine für gezielte Suchanfragen zu ranken, sich jedoch in einem Verzeichnis befindet, das Google nur alle sechs Monate aufruft, erhalten wir keinen organischen Traffic für dieses E-Book für bis zu sechs Monate.

Wenn ein Teil einer Website nicht sehr oft gecrawlt wird – aber wird häufig genug aktualisiert wurde – müssen wir möglicherweise unsere interne Linkstruktur und die Einstellungen für die Crawling-Priorität in unserer XML-Sitemap überprüfen.

Datum des letzten Crawl Vorgangs

Wenn wir etwas hochgeladen haben, von dem wir hoffen, dass es schnell indexiert wird können wir ebenfalls auf die Logs zurückgreifen. Protokolldateien zeigen an, wann Google diesen Bereich der Website gecrawlt hat – auch diese Art Monitoring ist Teil von technical SEO.

Crawl Budget

Eine Sache, die viele, die sich mit technical SEO beschäftigen gerne überprüfen und ansehen, ist die Echtzeitaktivität von Googlebot auf ihrer Website, da das Crawling-Budget, das die Suchmaschine einer Website zuweist, ein grober Indikator dafür ist, wie gut eine Website „gefällt“. Google möchte im Idealfall keine wertvolle Crawling-Zeit auf einer schlechten Website verschwenden.

Es ist offensichtlich, dass die Protokollanalyse für technisches SEO von entscheidender Bedeutung ist.

Site-Fehler sind frustrierend.

Es spielt keine Rolle, ob es sich bei Besuchern um potentielle Kunden oder um Suchmaschinen-Bots handelt – Niemand mag Site-Fehler. Websitefehler sind meist auf fehlerhafte Links, falsche Weiterleitungen und fehlende Seiten zurückzuführen.

Wann haben Sie das letzte Mal auf einen Link in den Suchmaschinenergebnissen geklickt und eine unschöne 404-Fehlerseite vorgefunden? Sie haben wahrscheinlich sofort auf „Zurück“ geklickt und sind zum nächsten Link aus der Ergebnisliste übergegangen. 404 Fehlerseiten erhöhen die Frustration der Kunden und das sogenannte „Pogo-Sticking“, die Rückkehr zu den Suchergebnissen und die Auswahl des nächstbesten Suchtreffers aus der Liste. Dies kommt bei den Suchmaschinen nicht gut an und kann sich mit der Zeit durchaus negativ auf das Gesamtranking solcher Websites auswirken.