Behebung eines Crawl- oder Synchronisationsfehlers

Ein Crawl-Fehler kann vor, während oder nach dem Download auftreten

Vorher: Ungültige URL, private Zielseite oder Kontingent. Währenddessen: DNS, TLS, Weiterleitung, HTTP-Status, Challenge oder Größe. Danach: leerer Inhalt, unbrauchbares Format, Extraktion oder Indexierungsaufgabe. Die Erkennung der Phase verhindert unnötige Wiederholungen für die gesamte Datenbasis.

Für eine komplette Website zeigt Wavize die Gesamtzahlen gefundener, verarbeiteter und fehlgeschlagener Seiten an, speichert jedoch nicht immer ein detailliertes Muster pro URL. Isolieren Sie eine repräsentative Seite für eine reproduzierbare Diagnose.

Gezieltes Neustarten
Korrigieren Sie zuerst die Ursache, starten Sie einzelne prioritäre URLs neu, dann die gesamte Website. Wiederholte Crawls können Ihr Kontingent belasten und den Zeitpunkt des ersten Vorfalls verbergen.

Testen Sie die URL als anonymer Besucher

Verwenden Sie ein privates Browserfenster und, wenn möglich, ein externes Netzwerk.

1. Antwort ohne Anmeldung

   Die Seite muss ohne Konto, Passwort, zuvor gesetzten Cookie oder temporär signiertes Token den Inhalt anzeigen.

2. Abgeschlossene Weiterleitungen

   Überprüfen Sie die finale URL, dieselbe Domain und das Fehlen von HTTP/HTTPS- oder www-Schleifen. Leichtes Onboarding begrenzt Weiterleitungen, ein Crawl unterliegt weiterhin Zielkontrollen.

3. Tatsächlich vorhandener Text

   Eine Seite ohne sichtbaren Inhalt vor JavaScript, nur ein Video oder eine Canvas bietet keinen auswertbaren Inhalt. Fügen Sie eine HTML- oder Textversion hinzu.

Serverantworten auslesen

Fordern Sie bei Bedarf vom Hosting-Provider Protokolle zum Testzeitpunkt an.

• 403 oder Challenge

  WAF, Robots oder Bot-Schutz verweigern den Serverzugang. Erstellen Sie eine gezielte Regel entsprechend Ihrer Sicherheitsrichtlinie, ohne den gesamten Schutz zu deaktivieren.

• 404 oder 410

  Korrigieren Sie Links und Sitemap, schließen Sie entfernte Seiten aus und ersetzen Sie diese nicht durch Weiterleitungen zur Startseite, da dies zu doppeltem Inhalt führt.

• 429

  Der Server begrenzt Anfragen. Verteilen Sie den Crawl oder passen Sie die Regel für Wavize an; starten Sie nicht mehrere identische Quellen parallel.

• 5xx / TLS / DNS

  Beheben Sie Ausfälle, Zertifikatskette oder Auflösung vor dem Neustart. Eine Seite, die nur intern funktioniert, bleibt extern womöglich unerreichbar.

Kontrollieren Sie Kontingent, Auswahl und Aufgabenstatus

Eine teilweise Quelle ist nicht immer ein Fehler.

1. Monatliches URL-Kontingent

   Vergleichen Sie bereits genutzte Seiten und Kapazität Ihres Plans. Schließen Sie Filter, Parameter und Duplikate vor dem Neustart aus.

2. Warteschlange und Worker

   Ein anhaltender Status "queued" kann auf volle Warteschlange oder gestoppten Worker hinweisen. Notieren Sie Dauer und Quelle, bevor Sie ein Ticket eröffnen.

3. Konzentration von Fehlern

   Suchen Sie nach Gemeinsamkeiten in URL-Typen: Sprache, Subdomain, Filter, große Dateien. Ausschluss nach Familien kann den nützlichen Crawl retten.

Erfolgsvalidierung anhand der Antworten

Ein erfolgreicher Status sollte weiterhin nutzbare Erkenntnisse liefern.

1. Verarbeitete Seite

   Die priorisierte Seite schlägt nicht mehr fehl oder ist unbeabsichtigt ausgeschlossen.

2. Sachliche Frage

   Stellen Sie eine Frage, deren Antwort explizit im heruntergeladenen Text enthalten ist.

3. Kein Duplikat

   Die alte URL oder Version liefert nach Neubewertung keine widersprüchliche Antwort.

Informationen für den Support

Senden Sie keine API-Schlüssel oder private Seiten.

• Quelle — Titel, Typ und öffentliche URL.
• Zeitplan — Startzeit, Dauer in jedem Status und letzte Wiederholung.
• Stichprobe — Zwei oder drei repräsentative URLs und deren öffentlicher Status.