نقش فایل Robots.txt در سئو (SEO)

فایل Robots.txt

robots exclusion protocol (REP) یا Robots.txt یک فایل متنی است که که وبمسترها آن را می سازند تا به موتورهای جستجو و خزنده های آنها چگونگی برخورد با سایتاشان را بفهمانند.

در واقع به جای توضیحات اضافه می خواهیم بصورت عملی تر متوجه شویم که نمونه کدهای زیر چه کاری را برای ما در این فایل انجام می دهند ؟

کد زیر در فایل Robots.txt باعث می شود که تمام موتورهای جستجو به هیچ کدام از قسمت های وب سایت دسترسی نداشته باشند:

[codesyntax lang=”php”]

User-agent: * Disallow: /

[/codesyntax]

 

با استفاده از کد زیر شما می توانید موتورهای جستجوی خاصی را از دسترسی به برخی دایرکتوری های وبسایتتان محروم کنید :

[codesyntax lang=”php”]

User-agent: Googlebot Disallow: /no-google/

[/codesyntax]

کد زیر باعث می شود که موتور جستجوی خاصی از دسترسی به یک صفحه در سایت محروم شود و آن را پیمایش نکند :

[codesyntax lang=”php”]

User-agent: Googlebot Disallow: /no-google/blocked-page.html

[/codesyntax]

کد زیر باعث می شود که موتورهای جستجوی خاصی تنها به یک صفحه ی خاص دسترسی داشته باشند :

[codesyntax lang=”php”]

Disallow: /no-bots/block-all-bots-except-rogerbot-page.html User-agent: rogerbot Allow: /no-bots/block-all-bots-except-rogerbot-page.html

[/codesyntax]

پارامترهای سایت مپ:

[codesyntax lang=”php”]

User-agent: * Disallow: Sitemap: http://www.example.com/none-standard-location/sitemap.xml

[/codesyntax]

قالب بهینه :

شما حتما باید فایل Robots.txt را در ریشه ی هاست و در واقع در بالاترین قسمت دایرکتوری وبسایتتان قرار دهید. به عنوان مثال آدرس این فایل در وبسایت شما باید بصورت زیر باشد :

[codesyntax lang=”php”]

http:/www.example.com/robots.txt

[/codesyntax]

و اما فایل Robots.txt چیست ؟

Robots Exclusion Protocol یا همان REP مجموعه ایست از استاندارهای وب که نحوه ی رفتار Robot در وب و چگونگی پاسخ دادن آن به موتور های جستجو و Crawler ها مشخص می کند. REP شامل خصوصیات زیر است :

  • پیدایش این فایل به سال ۱۹۹۴ برمی گردد که در آن تنها می توانستید راهنمایی های ساده ای برای نحوه ی برخورد خزندگان موتور جستجو بنویسید. همچنین تنها تعدادی از موتورهای جستجو وجود عبارات باقائده را در آن قبول می کردند. ساختار این فایل در سال ۱۹۹۷ آپدیت و به روز شد.
  • از سال ۱۹۹۶ به این طرف این قابلیت را پیدا کرد که بتوان در آن indexer directives تعریف کرد که تحت عنوان robots meta tag در محافل برنامه نویسی شناخته می شود. در ضمن موتورهای جستجو tag های دیگری را هم هم اکنون با استفاده از X-Robots-Tag پشتیبانی می کنند. برای این کار وبمسترها می توانند tag های مربوطه را در قسمت هدر resource مربوط به HTTP مشخص کنند ولی نه در فایل های Html بلکه در سایر انواع فال مانند PDF ها یا تصاویر.
  • همچنین از سال ۲۰۰۵ مایکروفرمت دیگری هم به نام rel-nofollow در موتورهای جستجو مشخص گردید که چگونگی برخورد یک خزنده با این خصوصیت تگ a را مشخص می کرد.
میلاد خان محمدی

Author: میلاد خان محمدی

پژوهشگر, نویسنده و علاقه مند به تکنولوژی های مختلف وب علی الخصوص front end هستم، مدیر دپارتمان هایبرید اپلیکیشن در موسسه ی iShia

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *