خزیدن Crawling

خزیدن Crawling: فرآیند جمع آوری اطلاعات، با استفاده از خزنده گوگل (حرکت از یک صفحه به صفحه دیگر) از میلیاردها صفحه وب عمومی برای به روز رسانی و افزودن و سازماندهی صفحات وب در فهرست موتورهای جستجو.

درباره خزنده های Crawl Budget ,Crawling ,Crawl Error ,Crawler در گوگل

معرفی سه نوع خزنده گوگل:

Crawl Budget بودجه خزش

تعداد کل URL هایی که موتورهای جستجو می توانند و می خواهند در یک وب سایت در یک بازه زمانی خاص بخزند.

Crawl Errors خطاهای خزیدن 

• URL هایی که ربات موتور جستجو قادر به خزیدن آنها نیست.
• نشانی‌های اینترنتی که خطای کد وضعیت را برمی‌گردانند.

Crawler خزنده

برنامه ای که موتورهای جستجو برای خزیدن در وب استفاده می کنند. ربات ها برای جمع آوری اطلاعات و افزودن یا به روز رسانی فهرست موتورهای جستجو از صفحات وب بازدید می کنند.