اگر با گوگل وبمستر آشنایی داشته باشید ، حتما با صفحه Crawl Error مواجه شدید. صفحه Crawl Error یا خطاهای خزش جزئیاتی رو در مورد URLهایی که گوگل نتوانسته با موفقیت آنها را Crawl کند و یا با کد خطای HTTP (مانند 404 و 503 یا 200) مواجه شده است را ارائه میدهد. این صفحه از دو قسمت اصلی تشکیل شده :
Site errors یا خطاهای سایت:
این بخش مهمترین موارد پیش آمده که مانع دسترسی ربات گوگل به کل سایت شما شده را در 90 روز گذشته نشان میدهد (با کلیک بر روی هر یک از باکس‌ها نمودار آن نمایش داده میشود):
• خطاهای DNS – سیستم نام دامنه ، که نام سایت شما را برای سروری که فایلهای سایت را فراهم میکند، به آدرسی عددی (IP) تبدیل میکند.
• خطاهای سرور – عملکرد سرور ارائه دهنده هاست شما ، مانند سرعت و قابلیت اطمینان اتصال.
• عدم دسترسی به robots.txt – گوگل پیش از اینکه بتواند سایت را crawl کند ابتدا باید به این فایل دسترسی پیدا کند. این فایل به گوگل میگوید که کدامیک از صفحات دسترسی داشته یا نداشته باشد.
URL errors یا خطاهای لینک اختصاصی:
این بخش لیست مشخصی از خطاهایی که گوگل در هنگام Crawl سایت ازدسکتاپ، گوشی های تلفن و یا صفحات برنامه های کاربردی اندروید با آنها مواجه میشود را نشان میدهد.
رفع مشکلات Crawl error در گوگل وبمستر
برای مشاهده این بخش به حساب کاربری خود در گوگل وبمستر وارد شوید ، و از منوی سمت چپ گزینه Crawl و سپس گزینه Crawl errors را انتخاب کنید.
در این مقاله به رفع مشکلات موجود در URL errors میپردازیم. در این بخش لیست تمامی آدرسهایی که در خزش دچار مشکل شده و علت احتمالی این مشکل نمایش داده میشود. این آدرسها بر اساس اولویت اهمیت لیست شده اند و بر اساس زمانبندی نیستند.
همانطور که در تصویر مشاهده میکنید صفحه باز شده دارای چندین بخش است.
1- نوع خطایی که روبات های گوگل در بررسی صفحه با آن مواجه شده اند میباشد.در اینجا همان خطای ۴۰۴ یا Not Found است.
2- آدرس صفحه ای که روبات گوگل در بررسی و خزیدن آن با مشکل مواجه شده است.
3– جزئیات مربوط به Crawl Error شامل اطلاعاتی تکمیلی درباره نوع خطاست.
4- صفحاتی که سایتتان یا سایت های دیگر به آن لینک داده اند در بخش Linked from نشان داده شده است.
5- از طریق Mark as fixed به گوگل اعلام میکنید که مشکل صفحه رفع شده و دیگر در لیست Crawl Errors سایت شما قرار نگیرد.
6- با استفاده از Fetch as google درخواست بررسی و ایندکس مجدد صفحه را به گوگل میدهید.
اگر آدرسی در سایت شما وجود داره که بنا به هر دلیلی دیگر به آن احتیاج ندارید آن را از لیست Sitemap سایت خود حذف کنید و هرجایی که در سایت به آن لینک داده اید رو پاک کنید. بعد به بخش Crawl errors رفته و روی دکمه Mark as Fixed کلیک کنید. اگر گوگل همچنان این لینک رو در لیست خطاهای خود نشان میدهد با فشردن دکمه Mark as fixed سراغ لینک های بعدی بروید. با این کار آدرس مدنظر از لیست خطاهای موجود حذف میشود. اما اگر بدون رفع مشکل این دکمه را کلیک کرده باشید مجددا به لیست خطاها اضافه خواهد شد. دقت داشته باشید که حذف کامل یک صفحه از سایت شما در گوگل ممکن است زمان خیلی زیادی طول بکشد.
سلام خانم مهندس زاهدی
میشه در مورد دیگر خطاهای خزنده گوگل و دلیل ایندکس نکردن آنها را توضیح دهید. متشکرم
بله، آموزش های سایت روزانه آپدیت و اضافه خواهد شد
بزودی در این زمینه هم آموزش های جدید قرار خواهیم داد