اخیرا از یکی از کاربران در مورد چگونگی جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو میپرسید. در واقع متوقف کردن موتورهای جستجو از خزش در سایت شما وعدم نمایش آن در نتایج موتورهای جستجو سناریوهای متفاوتی دارد. در این مقاله نشان میدهیم که چگونه جلوی خزش موتورهای جستجو در سایت مشخصی را بگیریم.
چرا و چه کسی میخواهد جلوی موتور جستجو را بگیرد؟
در بیشتر وبسایتها ، موتورهای جستجو منبع اصلی ترافیک سایت هستند. شاید بپرسید چرا باید کسی موتور جستجو را بلاک کند؟
خب ، بسیاری از افراد هستند که به جای استفاده از محیط محلی (نصب وردپرس با استفاده از سرور مجازی) با استفاده ار دامینهایی که برای عموم قابل دسترس است استفاده میکنند. برخی از افراد هم از وردپرس به عنوان سایتهای مدیریت پروژه استفاده میکنند و برخی دیگر به عنوان وبلاگ شخصی از این سایتها استفاده میکنند. به هر حال در تمامی این شرایط ، افراد احتمالا نمیخواهند که سایتشون توسط موتورهای جستجو ایندکس بشه تا در معرض عموم قرار بگیره.
تصور غلطی که وجود داره اینه که افراد فکر میکنند اگر لینکی به دامین خودشون رو در جایی قرار ندهند موتورهای جستجو به هیچ وجه نمیتوانند آنها را پیدا کنند و این اصلا درست نیست.
راههای متفاوتی وجود داره که موتورهای جستجو میتوانند یک وبسایت را پیدا کنند. برای مثال:
- اگر دامنه ای که شما خریداری کرده اید قبلا مالک دیگری داشته و هنوز جاهایی هست که به سایت شما لینک داده اند.
- نتایج برخی از سایتهای جستجوی دامنه ممکن است با لینک شما ایندکس شوند.
- هزاران پیج وجود دارند که فقط لیست نام دامنه ها را نشان میدهند ، سایت شمامیتواند در برخی از آنها ظاهر شود.
امکان اتفاقات زیادی در وب وجود دارد و هیچکدام از آنها قابل کنترل نیست. اگرچه سایت شما هنوز تحت کنترل شماست و شما میتوانید به موتورهای جستجو بگویید که سایت شما را دنبال و یا ایندکس نکنند.
بلاک کردن موتورهای جستجو از خزش و ایندکس سایت وردپرس شما
وردپرس ویژگی‌ای دارد که به شما اجازه میدهد که به موتورهای جستجو بگویید که سایت شما را ایندکس نکنند. تنها کاری که باید بکنید این است که به قسمت تنظیمات و سپس خواندن بروید و تیک گزینه نمایش به موتورهای جستجو را بزنید.
وقتی اینکار رو انجام میدهید وردپرس خط زیر رو به هدر وبسایت شما می‌افزاید:
<meta name=’robots’ content=’noindex,follow’ />
همچنین وردپرس فایل robot.txt را تغییر میدهد و خطهای زیر را به آن اضافه میکند:
User-agent: *
Disallow: /
این خطوط از رباتها (خزنده‌های وب) درخواست میکنند که صفحات شما ایندکس نکنند. اگرچه این کاملا به میل موتورهای جستجو هست که این درخواسن رو قبول کنند یا نکنند. هرچند اکثر موتورهای جستجو به این درخواست شما احترام میگذارند ، برخی از صفحات یا تصاویر به طور تصادفی ممکن است ایندکس شوند.
چطور مطمئن شوید که سایت شما در نتایج موتورهای جستجو ظاهر نمیشود؟
موثرترین راه برای بلک کردن موتورهای جستجو ، گذاشتن پسورد برای کل سایت در سطح سرور است. این به این معناست که هرگاه هرکسی به وبسایت شما دسترسی پیدا کند باید نام کاربری و پسوردی را وارد کند. این قانون شامل موتورهای جستجو هم میشود. در صورت fail شدن ورود ، خطای 401 نمایش داده میشود و رباتها میگریزند. در اینجا نحوه حفاظت کل سایت از طریق پسورد را میگوییم.
حفاظت کل سایت از طریق پسورد با استفاده از cPanel
اگر ارائه دهنده هاست شما دسترسی cPanel برای مدیریت حساب میزبانی ارائه میدهد ، میتوانید کل سایت خود را با استفاده از cPanel محافظت کنید. به سادگی وارد cPanel شوید و روی گزینه Password Protect Directories کلیک کنید.
سپس پنجره ای باز میشود که باید روت داکیومنت را انتخاب کنید.
در صفحه بعدی ، فولدری که سایت وردپرس در آن نصب شده است را انتخاب کنید که اصولا دایرکتوری public_html یا www است. سپس گزینه password protect this directory رو انتخاب کنید. سپس نامی را رو برای دایرکتوری محافظت شده انتخاب کنید و دکمه ذخیره را بفشارید.
سپس پیغامی مبنی بر موفقیت آمیز بودن عملیات دریافت میکنید. روی گزینه go back کلیک کنید تا صفحه حفاظت پسورد باز شود. حالا باید یک نام کاربری و پسورد انتخاب کنید.
همین ، حالا وبسایت شما با پسورد محافظت میشه ، و دیگر هیچکس حتی موتورهای جستجو نمیتواند به سایت شما دسترسی پیدا کند.
بدون دیدگاه