Een crawl- of synchronisatiefout oplossen

Een crawl-fout kan voor, tijdens of na het downloaden optreden

Voor: ongeldige URL, privé bestemming of quotum. Tijdens: DNS, TLS, redirect, HTTP-status, challenge of grootte. Na: lege inhoud, onbruikbaar formaat, extractie of index-taak. Fase bepalen voorkomt onnodig opnieuw crawl starten.

Bij volledige site toont Wavize totaal aantal gevonden, verwerkte en gefaalde pagina’s, maar bewaart niet per URL een gedetailleerde reden. Isoleer een representatieve pagina voor reproduceerbare diagnose.

Gerichte herstart
Los eerst de oorzaak op, herstart enkele prioritaire URL’s en daarna volledige site. Herhaald herstarten verbruikt quota en kan eerste incidenttijd verbergen.

Test URL als anonieme bezoeker

Gebruik privévenster en indien mogelijk extern netwerk.

1. Antwoord zonder login

   Pagina moet content tonen zonder account, wachtwoord, voorafgaande cookie of tijdelijke gesigneerde token.

2. Redirects compleet

   Controleer eind-URL, zelfde domein en geen HTTP/HTTPS of www-lus. Onboarding crawl beperkt redirects; crawl blijft bestemming-controles houden.

3. Werkelijke tekst

   Een pagina zonder content vóór JavaScript, alleen video of canvas bevat geen bruikbare content. Voeg HTML- of tekstversie toe.

Serverantwoorden lezen

Vraag host logs op rond testtijd indien nodig.

• 403 of challenge

  WAF, robots of anti-bot blokkeren server. Maak gerichte regel volgens beleid zonder beveiliging uit te zetten.

• 404 of 410

  Herstel links en sitemap, sluit verwijderde pagina’s uit en vervang niet door redirects naar home die duplicate content veroorzaken.

• 429

  Server limit requests. Spreid crawl of pas regels voor Wavize aan; start niet meerdere bronnen tegelijk.

• 5xx / TLS / DNS

  Los onbereikbaarheid, certificaatketen of DNS op vóór herstart. Pagina die alleen vanaf kantoor werkt kan publiek onbereikbaar blijven.

Controleer quotum, selectie en taakstatus

Een partiële bron betekent niet altijd storing.

1. Maandelijks URL quota

   Vergelijk reeds gebruikte pagina’s en formule-capaciteit. Sluit filters, parameters en duplicaten uit voor herstart.

2. Wachtrij en workers

   Persistente queued status duidt op volle wachtrij of gestopte worker. Noteer duur en bron voordat je support inschakelt.

3. Geconcentreerde fouten

   Zoek gemeenschappelijke URL-patronen: taal, subdomein, filter, groot bestand. Family-uitsluiting kan nuttige crawl redden.

Controleer correctie in antwoorden

Een successtatus moet nog steeds bruikbare kennis opleveren.

1. Pagina verwerkt

   Prioritaire pagina is niet langer fout of onbedoeld uitgesloten.

2. Feitelijke vraag

   Stel vraag die expliciet in gedownloade tekst beantwoord wordt.

3. Geen duplicaat

   Oude URL of versie geeft niet tegenstrijdig antwoord na hertraining.

Informatie voor support

Stuur geen API-sleutel of privé pagina.

• Bron - Titel, type en publieke URL.
• Tijdlijn - Starttijd, duur per status en laatste herstart.
• Monster - Twee of drie representatieve URL’s met publieke status.