Kaptain Kitty
انتشار :۳۰ آذر ۱۳۹۳
بازدید :602 بار

robots exclusion protocol (REP) یا Robots.txt یک فایل متنی است که که وبمسترها آن را می سازند تا به موتورهای جستجو و خزنده های آنها چگونگی برخورد با سایتاشان را بفهمانند.

در واقع به جای توضیحات اضافه می خواهیم بصورت عملی تر متوجه شویم که نمونه کدهای زیر چه کاری را برای ما در این فایل انجام می دهند ؟

کد زیر در فایل Robots.txt باعث می شود که تمام موتورهای جستجو به هیچ کدام از قسمت های وب سایت دسترسی نداشته باشند:

[codesyntax lang=”php”]

User-agent: * Disallow: /

[/codesyntax]

 

با استفاده از کد زیر شما می توانید موتورهای جستجوی خاصی را از دسترسی به برخی دایرکتوری های وبسایتتان محروم کنید :

[codesyntax lang=”php”]

User-agent: Googlebot Disallow: /no-google/

[/codesyntax]

کد زیر باعث می شود که موتور جستجوی خاصی از دسترسی به یک صفحه در سایت محروم شود و آن را پیمایش نکند :

[codesyntax lang=”php”]

User-agent: Googlebot Disallow: /no-google/blocked-page.html

[/codesyntax]

کد زیر باعث می شود که موتورهای جستجوی خاصی تنها به یک صفحه ی خاص دسترسی داشته باشند :

[codesyntax lang=”php”]

Disallow: /no-bots/block-all-bots-except-rogerbot-page.html User-agent: rogerbot Allow: /no-bots/block-all-bots-except-rogerbot-page.html

[/codesyntax]

پارامترهای سایت مپ:

[codesyntax lang=”php”]

User-agent: * Disallow: Sitemap: http://www.example.com/none-standard-location/sitemap.xml

[/codesyntax]

قالب بهینه :

شما حتما باید فایل Robots.txt را در ریشه ی هاست و در واقع در بالاترین قسمت دایرکتوری وبسایتتان قرار دهید. به عنوان مثال آدرس این فایل در وبسایت شما باید بصورت زیر باشد :

[codesyntax lang=”php”]

http:/www.example.com/robots.txt

[/codesyntax]

و اما فایل Robots.txt چیست ؟

Robots Exclusion Protocol یا همان REP مجموعه ایست از استاندارهای وب که نحوه ی رفتار Robot در وب و چگونگی پاسخ دادن آن به موتور های جستجو و Crawler ها مشخص می کند. REP شامل خصوصیات زیر است :

  • پیدایش این فایل به سال ۱۹۹۴ برمی گردد که در آن تنها می توانستید راهنمایی های ساده ای برای نحوه ی برخورد خزندگان موتور جستجو بنویسید. همچنین تنها تعدادی از موتورهای جستجو وجود عبارات باقائده را در آن قبول می کردند. ساختار این فایل در سال ۱۹۹۷ آپدیت و به روز شد.
  • از سال ۱۹۹۶ به این طرف این قابلیت را پیدا کرد که بتوان در آن indexer directives تعریف کرد که تحت عنوان robots meta tag در محافل برنامه نویسی شناخته می شود. در ضمن موتورهای جستجو tag های دیگری را هم هم اکنون با استفاده از X-Robots-Tag پشتیبانی می کنند. برای این کار وبمسترها می توانند tag های مربوطه را در قسمت هدر resource مربوط به HTTP مشخص کنند ولی نه در فایل های Html بلکه در سایر انواع فال مانند PDF ها یا تصاویر.
  • همچنین از سال ۲۰۰۵ مایکروفرمت دیگری هم به نام rel-nofollow در موتورهای جستجو مشخص گردید که چگونگی برخورد یک خزنده با این خصوصیت تگ a را مشخص می کرد.

برچسب‌ها, , , , ,

مطالب مرتبط

گوگل یک ماه پیش از ارتقاء الگوریتم mobile-friendly خود، شروع به ارسال پیغام های جدید هشداری به صاحبان وب سایت ها کرد. گوگل هم اکنون در حال ارسال نوع جدیدی از پیغام های هشداری به صاحبان وب سایت هایی است که وبسایت آنها mobile-friendly نمی باشد. این پیغام ها مستقیما در نتایج جستجو با موبایل […]

عموما بالا بودن تعداد سوالات مشتریان یک مساله ی خوشایند محسوب می شود. هر چه تعداد پرسش ها بالاتر باشد، تعداد فروش شما نیز به همان نسبت بالاتر خواهد بود. اما به مرور زمان، شما دائما در حال دریافت همان سوالات همیشگی هستید. این امر می تواند خیلی زود به کاری روزمره، زمان بر و خسته […]

فایل سایت مپ فایلی است که در آن تمام صفحات و لینک های سایت در آن لیست می شود تا به موتور جستجوی گوگل و سایر موتورهای جستجو ساختار کلی وبسایت را نشان دهد. یکی از راه های شناخت و پیمایش یک وبسایت توسط موتور جستجو بررسی فایل sitemap آن وبسایت است. در واقع وجود […]

Googlebot نام است که گوگل به برنامه ای داده است که برایش اطلاعات موبوط به آدرس ها و URL های موجود در اینترنت را فراهم می کند. البته گاهی اوقات به آن spider هم می گوید. Crawling عبارتست از فرآیندی که طی آن گوگل صفحات و آدرس های مختلف وبسایت های موجود در اینترنت را […]

نظراتتان را برایمان بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

مطالب ما تو این شبکه های اجتماعی هم پخش میشه