درود
به احتمال زیاد اکثر شما با کرولر ها آشنایی دارید ولی توضیحی میدم برای کسایی که نمیدونن
وب کراولر ها برای افراد معمولی مثل ما ابزار هایی برای پیدا کردن تمام url هی یک سایت هستند البته این فقط برای ما هست و کمپانی های بزرگ که کراولر های قوی دارند کاری بیش از این انجام میدن ( مثل گوگل و یاهو)
این کراولر که میزارم کم حجم و قوی هست و نصبت به سایتی که شما بهش میدین (وسرعت نت) از چند دقیقه تا چند روز ممکنه طول بکشه
ورژن مورد نیاز پایتون : 2.7
روش اجرا:
دایرکتوری فایل رو تو cmd یا terminal بنویسین و بعد با یک فاصله url سایت رو بنویسین تا تمام سایت رو دانلود کنه
توصیه میکن بعد اجرا یه چای بریزید بخورید چون معلوم نیس چه قد طول بکشه
webcrawler.zip