Kaptain Kitty
انتشار :۳۰ آذر ۱۳۹۳
بازدید :679 بار

robots exclusion protocol (REP) یا Robots.txt یک فایل متنی است که که وبمسترها آن را می سازند تا به موتورهای جستجو و خزنده های آنها چگونگی برخورد با سایتاشان را بفهمانند.

در واقع به جای توضیحات اضافه می خواهیم بصورت عملی تر متوجه شویم که نمونه کدهای زیر چه کاری را برای ما در این فایل انجام می دهند ؟

کد زیر در فایل Robots.txt باعث می شود که تمام موتورهای جستجو به هیچ کدام از قسمت های وب سایت دسترسی نداشته باشند:

[codesyntax lang=”php”]

User-agent: * Disallow: /

[/codesyntax]

 

با استفاده از کد زیر شما می توانید موتورهای جستجوی خاصی را از دسترسی به برخی دایرکتوری های وبسایتتان محروم کنید :

[codesyntax lang=”php”]

User-agent: Googlebot Disallow: /no-google/

[/codesyntax]

کد زیر باعث می شود که موتور جستجوی خاصی از دسترسی به یک صفحه در سایت محروم شود و آن را پیمایش نکند :

[codesyntax lang=”php”]

User-agent: Googlebot Disallow: /no-google/blocked-page.html

[/codesyntax]

کد زیر باعث می شود که موتورهای جستجوی خاصی تنها به یک صفحه ی خاص دسترسی داشته باشند :

[codesyntax lang=”php”]

Disallow: /no-bots/block-all-bots-except-rogerbot-page.html User-agent: rogerbot Allow: /no-bots/block-all-bots-except-rogerbot-page.html

[/codesyntax]

پارامترهای سایت مپ:

[codesyntax lang=”php”]

User-agent: * Disallow: Sitemap: http://www.example.com/none-standard-location/sitemap.xml

[/codesyntax]

قالب بهینه :

شما حتما باید فایل Robots.txt را در ریشه ی هاست و در واقع در بالاترین قسمت دایرکتوری وبسایتتان قرار دهید. به عنوان مثال آدرس این فایل در وبسایت شما باید بصورت زیر باشد :

[codesyntax lang=”php”]

http:/www.example.com/robots.txt

[/codesyntax]

و اما فایل Robots.txt چیست ؟

Robots Exclusion Protocol یا همان REP مجموعه ایست از استاندارهای وب که نحوه ی رفتار Robot در وب و چگونگی پاسخ دادن آن به موتور های جستجو و Crawler ها مشخص می کند. REP شامل خصوصیات زیر است :

  • پیدایش این فایل به سال ۱۹۹۴ برمی گردد که در آن تنها می توانستید راهنمایی های ساده ای برای نحوه ی برخورد خزندگان موتور جستجو بنویسید. همچنین تنها تعدادی از موتورهای جستجو وجود عبارات باقائده را در آن قبول می کردند. ساختار این فایل در سال ۱۹۹۷ آپدیت و به روز شد.
  • از سال ۱۹۹۶ به این طرف این قابلیت را پیدا کرد که بتوان در آن indexer directives تعریف کرد که تحت عنوان robots meta tag در محافل برنامه نویسی شناخته می شود. در ضمن موتورهای جستجو tag های دیگری را هم هم اکنون با استفاده از X-Robots-Tag پشتیبانی می کنند. برای این کار وبمسترها می توانند tag های مربوطه را در قسمت هدر resource مربوط به HTTP مشخص کنند ولی نه در فایل های Html بلکه در سایر انواع فال مانند PDF ها یا تصاویر.
  • همچنین از سال ۲۰۰۵ مایکروفرمت دیگری هم به نام rel-nofollow در موتورهای جستجو مشخص گردید که چگونگی برخورد یک خزنده با این خصوصیت تگ a را مشخص می کرد.
آموزش seo آموزش سئو سئو و بهینه سازی فایل robots.txt فایل سایت مپ نحو
مطالب مرتبط

در هفته‌ای که گذشت موتور جستجویی اختصاصی برای زلاتان ابراهیموویچ با مدیریت Andreas Killander تاسیس شد که با جستجوی هر کلمه‌ای، نتایج مربوط به زلاتان در صدر نتایج آن قرار خواهند گرفت.

ربات گوگل برای اینکه یک شهروند خوب در وب باشه طراحی شده است. خزش اولویت اصلی آن می باشد، در حالی که مطمئن باشه که سبب کاهش تجربه کاربران از بازدید سایت نشود. ما این رو ” حد نرخ خزش” خطاب می کنیم، چرا که حداکثر نرخ واکشی برای سایت داده شده رو اندازه می گیرد. 

یکی از بزرگترین تغییراتی که من در سئو تجربه کردم افزایش محبوبیت جستجوی صوتی می باشد. استفاده از جستجوی صوتی بسیار ساده می باشد و حالا هم که ضروری شده به خصوص زمانی که از گوشی های هوشمند یا تبلت هاتون استفاده می کنید. در ادامه چند راهنمای سئو در این زمینه، خدمت شما بیان می کنم. 

در این مقاله یک لیستی از فاکتور های یک محتوای با کیفیت رو بیان خواهیم کرد:  ۱٫ در خدمت هدف بازدید کننده های خودتون باشید و به سوالات آنها پاسخ بدید و کمکشون کنید که به اهدافشون برسند. ۲٫ برای بازدید کننده هاتون تجربه ی ساده بودن، لذت بخش بودن و در دسترس بودن توسط […]

نظراتتان را برایمان بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

مطالب ما تو این شبکه های اجتماعی هم پخش میشه