اگر با گوگل وبمستر آشنایی داشته باشید ، حتما با  صفحه Crawl Error  مواجه شدید. صفحه Crawl Error  یا خطاهای خزش جزئیاتی رو در مورد URLهایی که گوگل نتوانسته با موفقیت آنها را Crawl کند و یا با کد خطای HTTP  (مانند 404 و 503 یا 200) مواجه شده است را ارائه میدهد. این صفحه از دو قسمت اصلی تشکیل شده :

خطاهای خزش سایت

Site errors  یا خطاهای سایت:

این بخش مهمترین موارد پیش آمده  که مانع دسترسی ربات گوگل به کل سایت شما شده را در 90 روز گذشته نشان میدهد (با کلیک بر روی هر یک از باکس‌ها نمودار آن نمایش داده می‌شود):
•    خطاهای DNS – سیستم نام دامنه ، که نام سایت شما را برای سروری که فایلهای سایت را فراهم میکند، به آدرسی عددی (IP) تبدیل میکند.
•    خطاهای سرور – عملکرد سرور ارائه دهنده هاست شما ، مانند سرعت و قابلیت اطمینان اتصال.
•    عدم دسترسی به robots.txt – گوگل پیش از اینکه بتواند سایت را crawl کند ابتدا باید به این فایل دسترسی پیدا کند. این فایل به گوگل میگوید که کدامیک از صفحات دسترسی داشته یا نداشته باشد.

URL errors  یا خطاهای لینک اختصاصی:

این بخش لیست مشخصی از خطاهایی که گوگل در هنگام Crawl سایت ازدسکتاپ، گوشی های تلفن و یا صفحات برنامه های کاربردی اندروید با آنها مواجه میشود را نشان میدهد.

crawl errors
رفع مشکلات Crawl error  در گوگل وبمستر

برای مشاهده این بخش به حساب کاربری خود در گوگل وبمستر وارد شوید ، و از منوی سمت چپ گزینه Crawl  و سپس گزینه Crawl errors  را انتخاب کنید.

در این مقاله به رفع مشکلات موجود در URL errors  میپردازیم. در این بخش لیست تمامی آدرسهایی که در خزش دچار مشکل شده و علت احتمالی این مشکل نمایش داده میشود. این آدرسها بر اساس اولویت اهمیت لیست شده اند و بر اساس زمانبندی نیستند.

fix crawl errors
همانطور که در تصویر مشاهده میکنید صفحه باز شده دارای چندین بخش است.
1- نوع خطایی که روبات های گوگل در بررسی صفحه با آن مواجه شده اند میباشد.در اینجا همان خطای ۴۰۴ یا Not Found است.
2- آدرس صفحه ای که روبات گوگل در بررسی و خزیدن آن با مشکل مواجه شده است.
3– جزئیات مربوط به  Crawl Error شامل اطلاعاتی تکمیلی درباره نوع خطاست.
4- صفحاتی که سایتتان یا سایت های دیگر به آن لینک داده اند در بخش Linked from نشان داده شده است.
5- از طریق Mark as fixed به گوگل اعلام میکنید که مشکل صفحه رفع شده و دیگر در لیست Crawl Errors سایت شما قرار نگیرد.
6- با استفاده از Fetch as google  درخواست بررسی و ایندکس مجدد صفحه را به گوگل میدهید.
اگر آدرسی در سایت شما وجود داره که بنا به هر دلیلی دیگر به آن احتیاج ندارید آن را از لیست Sitemap سایت خود حذف کنید و هرجایی که در سایت به آن لینک داده اید رو پاک کنید. بعد به بخش Crawl errors رفته و روی دکمه Mark as Fixed کلیک کنید. اگر گوگل همچنان این لینک رو در لیست خطاهای خود نشان میدهد با فشردن دکمه Mark as fixed سراغ لینک های بعدی بروید. با این کار آدرس مدنظر از لیست خطاهای موجود حذف میشود. اما اگر بدون رفع مشکل این دکمه را کلیک کرده باشید مجددا به لیست خطاها اضافه خواهد شد. دقت داشته باشید که حذف کامل یک صفحه از سایت شما در گوگل ممکن است زمان خیلی زیادی طول بکشد.

لیلا زاهدیAuthor posts

Avatar for لیلا زاهدی

فارغ التحصیل رشته مهندسی کامپیوتر، دانشجوی کارشناسی ارشد فناوری اطلاعات. علاقه مند به مباحث طراحی و بهینه سازی سایت برای موتورهای جستجو

2 دیدگاه ها

  • سلام خانم مهندس زاهدی
    میشه در مورد دیگر خطاهای خزنده گوگل و دلیل ایندکس نکردن آنها را توضیح دهید. متشکرم

    • بله، آموزش های سایت روزانه آپدیت و اضافه خواهد شد
      بزودی در این زمینه هم آموزش های جدید قرار خواهیم داد

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *