[maxim354]

حتما شنیده اید که گاها گفته میشود کراولر گوگل و گاه اسپایدر گوگل
اما واقعا چه تفاوتی بین  کراولر با اسپایدر وجود دارد
اسپایدر که به معنای عنکبوت است  خزنده ای می باشد که همان کارهای کاربران اینترنت را انجام می دهد و چون انسان نیست از آن به ربات تعبیر میشود
اسپایدرها وظایف متفاوتی را دنبال می کنند
مثلا یک اسپایدر فقط بررسی می کند که آیا یک صفحه فعال است یا خیر همین و کار دیگری انجام نمی دهد
یک اسپایدر وظیفه اش انتقال کل صفحه به سرور  مربوطه است
یک اسپایدر فقط با عکس ها سروکار دارد (مثل googlimage)
اسپایدری هم داریم که هر سه تا شش ماه به یک صفحه مراجعه می کند تا بررسی های مربوط به انجام  تقلباتSneaky Java redirects
Cloaking
Doorway pages
را انجام دهد
و بالاخره اسپایدری هم تنها وظیفه اش دنبال کردن لینک ها و ثبت هدر مربوطه است
تا اینجا با اسپایدر آشنا شدید نوشتن یک اسپایدر برای یک برنامه نویس سطح پایین هم کاری سهل و ساده است
اما کراونر چیست
موتورجستجوگر شامل سه بخش است
کراولر
ایندکسر
نمایش
( و در گوگل سیستم رتبه بندی پیشرفته را هم  به عنوان یک بخش مجزا داریم )
علی الظاهر ساده ترین قسمت یک موتورجستجوگر کراولر است اما در عین حال تاج موتورجستجوگر هم هست (همانطور که ساخت یک تاج آسان است اما همیشه تاج تاج   است)
اما کراولر
اگر با وب مستر گوگل کار کرده باشید با عباراتی مثل
Crawl rate
Crawl Errors
Crawl Stats
برخورد کرده اید
به طور خلاصه crawl عملیات پویش یک سایت توسط موتورجستجوگر را می گویند
crawler قسمت مدیریت crawl  یک موتورجستجوگر است که الگوریتم نسبتا پیچیده ای دارد و هدایت اسپایدرها تنها بخش کوچکی از این الگوریتم پیچیده است
در وبمستر گوگل شما می توانید تنظیماتی بر روی نحوه کار کراولرو فقط برای سایت خودتان   انجام بدهید و خطاها و آمار کراول سایت خودتان را نیز ببینید
این کراولر است که تعین می کند چند سرور وظیفه کراون  یک سایت را انجام دهند و هر سرور با چند خزنده
این کراولر است که سرعت هاست سایت شما از مجموع فعالیت های اسپایدرهایش محاسبه می کند
کراولر در طراحی بر عکس قسمت view به هوش مصنوعی متکی نیست بلکه کاملا متکی به آمار و ارقام است
مثلا اگر به یک سایت اسپمر برخورد کند نمی تواند اسپم بودن سایت را تشخیص دهد و تنها ظرف چند روز ممکن است صدها اسپایدر را مامور کراون آن کند  تا وقتیکه ایندکسر آن سایت را برای کراونر اسپم اعلام کند که بعد از آن تنها   اسپایدر های بررسی فعال بودن صفحات به این سایت سرکشی می کند
کراولر طوری طراحی شدهاست که کمترین تعامل را با دیتابیس داشته باشد
جالب است که مثلا اگر کاری کنید که  کراولر msn سایت شما را بزرگ تشخیص دهد  با این کراولر هزاران اسپایدر به سایت شما سرازیر می کند طوریکه هاست تان  را دچار مشکل می کند
بزرگترین کمک های کراولر به یک موتور جستجوگر (مخصوصا گوگل )
1- جمع آوری اطلاعات آماری و محتوایی از یک سایت
2- تشخیص منطقه کاری سایت
3- محاسبه سرعت هاستینگ سایت
4- تعامل یک سایت با سایتهای دیگر
منبع : http://seo.parsiblog.com

[Heliapakzad996]

خیلی مفید بود.
لطفا در مورد الگوریتم های گوگل مخصوصا الگوریتم مرغ مگس خوار هم مطلب بگذارید.