Kaptain Kitty
انتشار :۳۰ آذر ۱۳۹۳
بازدید :638 بار

robots exclusion protocol (REP) یا Robots.txt یک فایل متنی است که که وبمسترها آن را می سازند تا به موتورهای جستجو و خزنده های آنها چگونگی برخورد با سایتاشان را بفهمانند.

در واقع به جای توضیحات اضافه می خواهیم بصورت عملی تر متوجه شویم که نمونه کدهای زیر چه کاری را برای ما در این فایل انجام می دهند ؟

کد زیر در فایل Robots.txt باعث می شود که تمام موتورهای جستجو به هیچ کدام از قسمت های وب سایت دسترسی نداشته باشند:

[codesyntax lang=”php”]

User-agent: * Disallow: /

[/codesyntax]

 

با استفاده از کد زیر شما می توانید موتورهای جستجوی خاصی را از دسترسی به برخی دایرکتوری های وبسایتتان محروم کنید :

[codesyntax lang=”php”]

User-agent: Googlebot Disallow: /no-google/

[/codesyntax]

کد زیر باعث می شود که موتور جستجوی خاصی از دسترسی به یک صفحه در سایت محروم شود و آن را پیمایش نکند :

[codesyntax lang=”php”]

User-agent: Googlebot Disallow: /no-google/blocked-page.html

[/codesyntax]

کد زیر باعث می شود که موتورهای جستجوی خاصی تنها به یک صفحه ی خاص دسترسی داشته باشند :

[codesyntax lang=”php”]

Disallow: /no-bots/block-all-bots-except-rogerbot-page.html User-agent: rogerbot Allow: /no-bots/block-all-bots-except-rogerbot-page.html

[/codesyntax]

پارامترهای سایت مپ:

[codesyntax lang=”php”]

User-agent: * Disallow: Sitemap: http://www.example.com/none-standard-location/sitemap.xml

[/codesyntax]

قالب بهینه :

شما حتما باید فایل Robots.txt را در ریشه ی هاست و در واقع در بالاترین قسمت دایرکتوری وبسایتتان قرار دهید. به عنوان مثال آدرس این فایل در وبسایت شما باید بصورت زیر باشد :

[codesyntax lang=”php”]

http:/www.example.com/robots.txt

[/codesyntax]

و اما فایل Robots.txt چیست ؟

Robots Exclusion Protocol یا همان REP مجموعه ایست از استاندارهای وب که نحوه ی رفتار Robot در وب و چگونگی پاسخ دادن آن به موتور های جستجو و Crawler ها مشخص می کند. REP شامل خصوصیات زیر است :

  • پیدایش این فایل به سال ۱۹۹۴ برمی گردد که در آن تنها می توانستید راهنمایی های ساده ای برای نحوه ی برخورد خزندگان موتور جستجو بنویسید. همچنین تنها تعدادی از موتورهای جستجو وجود عبارات باقائده را در آن قبول می کردند. ساختار این فایل در سال ۱۹۹۷ آپدیت و به روز شد.
  • از سال ۱۹۹۶ به این طرف این قابلیت را پیدا کرد که بتوان در آن indexer directives تعریف کرد که تحت عنوان robots meta tag در محافل برنامه نویسی شناخته می شود. در ضمن موتورهای جستجو tag های دیگری را هم هم اکنون با استفاده از X-Robots-Tag پشتیبانی می کنند. برای این کار وبمسترها می توانند tag های مربوطه را در قسمت هدر resource مربوط به HTTP مشخص کنند ولی نه در فایل های Html بلکه در سایر انواع فال مانند PDF ها یا تصاویر.
  • همچنین از سال ۲۰۰۵ مایکروفرمت دیگری هم به نام rel-nofollow در موتورهای جستجو مشخص گردید که چگونگی برخورد یک خزنده با این خصوصیت تگ a را مشخص می کرد.
آموزش seo آموزش سئو سئو و بهینه سازی فایل robots.txt فایل سایت مپ نحو
مطالب مرتبط

طی چند ماه گذشته سوالات و پیام های زیادی را در مورد نحوه ی صفحه بندی یا pagination مناسب نتایج برای موتور جستجو دریافت کرده ایم. در این پست خطرات، فرصت ها و تاکتیک های بهینه سازی که موفقیت شما را در امر صفحه بندی صحیح تضمین می کند آورده شده است. بهترین بخش ماجرا […]

بخش اول این مقاله را در لینک زیر دنبال کنید : ۰ تا ۱۰۰ مفهوم ریدایرکت در سئو – بخش اول عبارات با قاعده: از ویکی پدیا: یک عبارت با قاعده، رشته ای است که یک مجموعه از رشته ها را بر طبق قوانین مشخصی تعریف کرده یا آنها را تطبیق می دهد. عبارات با […]

ریدایرکت کردن، فرآیند ارسال یک URL به یک URL متفاوت است. سه نوع اصلی از ریدایرکت در مبحث سئو (SEO) وجود دارد: ۳۰۱، ۳۰۲ و متا رفرش. انواع ریدایرکت ریدایرکت ۳۰۱، “انتقال دائم”- توصیه شده برای سئو ریدایرکت ۳۰۲، “یافت شده” یا “انتقال موقت” متا رفرش ریدایرکت چیست؟ ریدایرکت راهی برای ارسال کاربران و موتور […]

Canonicalization در سئو اشاره به نرمالیزه کردن URL های متعدد دارد. (راهنمایی کردن به یک نسخه ی اصلی). نمونه کد: <link rel=”canonical” href=”http://example.com/blog” />   Canonicalization چیست؟ درک این مفهوم می تواند بسیار چالش برانگیز باشد (حتی تلفظش نیز دشوار است). اما به هر حال لازم است وب سایتی بهینه ایجاد کنیم. مشکلات بنیادینی که canonicalization […]

نظراتتان را برایمان بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

مطالب ما تو این شبکه های اجتماعی هم پخش میشه