کشف خودکار نقشه سایت و فایل Robots.txt
موتور فلایکراول به صورت هوشمند مسیرهای sitemap.xml، sitemap_index.xml و فایلهای robots.txt را شناسایی کرده و ایندکسهای تو در تو را بازگشایی مینماید.
واکشی، تحلیل و استخراج تمامی آدرسهای قابل ایندکس از فایلهای نقشه سایت یا دامنه اصلی همراه با تاریخهای آخرین ویرایش به قالب JSON.
Enter a sitemap link or domain name to extract discovered URLs.
موتور فلایکراول به صورت هوشمند مسیرهای sitemap.xml، sitemap_index.xml و فایلهای robots.txt را شناسایی کرده و ایندکسهای تو در تو را بازگشایی مینماید.