01.
Ganze Website erfassen
Finde die Seiten einer Website, wähle die gewünschten aus und erfasse sie zusammen.
- Findet Seiten über die Sitemap, robots.txt und die Links und Menüs der Website
- Seiten prüfen und auswählen, gruppiert nach den Kategorien der Website
- Erfasst in Stapeln, ein Einfügen pro Stapel; fehlgeschlagene Seiten lassen sich wiederholen
- Beachtet robots.txt, wartet zwischen Anfragen und erreicht nur Seiten, die dein Browser öffnen kann