01.
التقاط الموقع كاملاً
اعثر على صفحات الموقع، واختر ما تحتاجه منها، والتقطها معاً.
- يكتشف الصفحات من خريطة الموقع وملف robots.txt وروابط الموقع وقوائمه
- راجع الصفحات واخترها، مجمّعة حسب فئات الموقع
- يلتقط على دفعات، لصقة لكل دفعة، ويمكن إعادة محاولة الصفحات التي فشلت
- يتبع robots.txt وينتظر بين الطلبات ولا يصل إلا إلى الصفحات التي يفتحها متصفحك