دیتالایف انجین فارسی

رام کردن روبات موتورهای جستجو

تاریخ انتشار: 26 بهمن 1387
ارسال کننده: FantasticShadow
رام کردن روبات موتورهای جستجو


توضیح مختصر: راه های فراوانی برای به اصطلاح رام کردن روبات موتورهای جستجو وجود دارد اما یکی از راه های مفید، استفاده از فایل robots.txt می باشد که توسط این فایل می توانید به روبات ها به نوعی دستور دهید که در چه تاریخ، چه زمان وارد و چه فایل و چه فولدری را ایندکس کند.
یکی از پارامتر های robots.txt زمان دیرکرد روبات ها است که توسط این پارامتر می توانید مشخص کنید روبات چقدر تأخیری داشته باشد. تا چند روز پیش برای تمامی سیستم های مدیریت محتوا این پارامتر یکی بود اما امروز دیتالایف خود را از آنها جدا کرد. زیرا با توجه به تبهر خاصی که در رام کردن روبات ها دارد و نقشه برنامه نویسی آن و کدی که از گوگل برای ایندکس شدن مطالب و صفحات دریافت کرده بر این باور است که مقدار 1 برای دیرکرد روبات ها مناسب نمی باشد و بجای آن مقدار 10 را به کاربران پیشنهاد کرده است.

فایل robots.txt خود را باز کنید و کد زیر را وارد کنید:
User-agent: *
Crawl-delay: 10


با انجام این کار باعث شدید که روبات ها هر 10 ثانیه یکبار به سایت شما سر بزند. البته قابل ذکر است که بی رتبه و بی مطلب در سایت این کار هیچ تأثیری ندارد.

توجه: از آنجا که من در SEO و مخصوصا GEO مهارت خاصی دارم، تصمیم گرفتم در انجمن جدید سایت (انجمنی با سیستم PhpBB)، یک انجمن، جدا از دیگر انجمن ها برای seo باز کنم و با اطلاعاتی که از Seo دارم به کاربران عزیز دیتالایف انجین در دریافت ایندکس و رتبه ای بهتر کمک کنم.

موفق و پیروز باشید ... flower
    25 نفر (25 کاربر و 0 میهمان) از این مطلب تشکر کرده اند.
    تشکر
    مدیر بازنشسته
    26 بهمن 1387 - 12:56
    جالب بود . این تنظیمات تو گوگل وجود داره . که حتی سریعتر googlebot بیاد ، که ترافیک سایت میره بالا و واسه بعضی ها بد نیست . اگه این واسه باقی روبات ها هم کار کنه خوبه . ممنون makhsoosefreeiran
    عضو سایت
    26 بهمن 1387 - 13:08
    SalaR,
    روبات موتورهای جستجو همچون Google و yahoo و دیگر جستجوگرهای معروف مانند Alltheweb و ... از این پارامتر پشتیبانی می کنند.
    عضو سایت
    26 بهمن 1387 - 15:21
    سلام

    با سپاس از شما به مطلب خوبی اشاره کردید اما بهتر هست که محدودیت هایی هم برای دسترسی روبات ها در فایل robot.txt برای دیتالایف انجین ایجاد بشه تا روبات ها نتوانند از کلیه محتوای سایت شما کپی برداری کنند که برای هر سیستم مدیریت و محتوا بسته به نوع دسترسی آنها متفاوت خواهد بود اما کد استانداری که برای دیتالایف انجین می بایست در این فایل قرار بگیرید به صورت زیر خواهد بود که تنظیمات به صورت مثال برای همین سایت دیتالایف انجین فارسی است توجه کنید :



    User-agent: *
    Crawl-delay: 10

    User-Agent: *
    Disallow: /cgi-bin/
    Disallow: /templates/
    Disallow: /engine/
    Disallow: /languages/
    Host: www.datalifeengine.ir

    User-agent: *
    Allow: /
    Sitemap: http://datalifeengine.ir/sitemap.xml
    Host: www.datalifeengine.ir



    که همان طور که در بالا مشاهده می کنید کد اول برای زمان سریع دسترسی روبات ها و کد دوم برای محدودیت ها از عدم دسترسی روبات ها به این پوشه ها و دیگری هم برای معرفی Sitemap یا همان نقشه سایت است که به این صورت روبات ها سریعتر می توانند به نقشه کلی سایت شما دست پیدا کنند.

    موفق باشید.
    عضو سایت
    26 بهمن 1387 - 16:01
    Professional,
    ممنونم. اما قصد من توضیح کامل robots.txt و کدهاش نبود. من فقط خواستم به یک پارامتر اشاره کنم. اما باز ممنونم.

    درسته طبق گفته دوستمون برای اینکه روبات ها به هرجای سایت دسترسی نداشته باشند باید از کدهای بالا هم استفاده کنیم.
    عضو سایت
    26 بهمن 1387 - 16:41
    این فایل رو باید تو كدوم پوشه یا در كجای سایت قرار بدیم
    ممنون
    عضو سایت
    26 بهمن 1387 - 17:02
    باید توی روت سایت کپی کنید .

    --------------------
    مدیر بازنشسته
    26 بهمن 1387 - 17:39
    mehrdadnew2006,

    شما یه فایل ایجاد میکنی با نام robots.txt و داخلش اون کدها رو قرار میدی و داخل root یا همون پوشه www کپی می کنی.
    عضو سایت
    26 بهمن 1387 - 17:58
    ممنون
    خب حالا اگه بخوام قسمت هایی رو مشخص كنم كه فقط اونا خونده بشن چی؟
    باید مثا نمنه كد بالا در چه جاهاییش اسم اون بخش رو بنویسم؟
    ممنون
    مدیر بازنشسته
    26 بهمن 1387 - 18:07
    ketabchi ,

    دوستمون Professional بعضی قسمت هایی که نباید خونده بشن رو نوشتن . شما میتونین upload و backup رو هم اضافه کنی.

    تنها جایی که باید خونده بشه sitemap هستش.

    جایی که میخوائین خونده شه از تگ

    Allow

    و جایی که نمیخواین خونده شه از تگ

    Disallow

    استفاده کنید


    عضو سایت
    26 بهمن 1387 - 19:20
    SalaR,
    خیلی خیلی ممنون
    منم از همون اول منظورم همین بود
    تشكر
    عضو سایت
    26 بهمن 1387 - 19:21
    مرسی
    عضو سایت
    26 بهمن 1387 - 20:58
    ببخشید من چون تازه کارم و تازه شروع کردم
    این robots.txt خودمان باید درست کنیم؟
    محتویات داخلش چی باید باشه؟
    نیازی نیست در قسمت سایت مپ گوگل چیزی ثبت بشه؟
    مدیر بازنشسته
    26 بهمن 1387 - 22:19
    Ir
    عضو سایت
    26 بهمن 1387 - 23:13
    Ir
    مدیر بازنشسته
    27 بهمن 1387 - 11:45
    بچه ها اینارم اضافه کنید بد نیست :


    Disallow: /*print
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /index.php?do=register
    Disallow: /?do=lastcomments
    Disallow: /statistics.htmlDisallow: /index.php?do=pm
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?subaction=newposts

    عضو سایت
    18 اسفند 1387 - 16:54
    بازم مثل همیشه ممنون ن ن ن ن ن ن ن ن ن ن ن ن ن ...
    عضو سایت
    28 فروردین 1388 - 19:46
    profeshional ?
    Reza :D ?
    Shoma ho data life :D ?
    ajiban ghariba !
    عضو سایت
    20 آذر 1388 - 23:11
    mer30
    عضو سایت
    20 دی 1388 - 15:10
    اینها به چه دردی می خورد؟
    Disallow: /print
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /index.php?do=register
    Disallow: /?do=lastcomments
    Disallow: /statistics.htmlDisallow: /index.php?do=pm
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?subaction=newposts
    عضو سایت
    01 اردیبهشت 1389 - 22:19
    samkia,

    باعث می شوند که برای موتورهای جستجوگر یک محدودیت ایجاد شود و سراغ فایلهای نامبرده نشوند . و قانون کپی رایت به حداکثر خود برسد و ...
    عضو سایت
    10 آبان 1389 - 08:56
    مطلب بسیار عالی بود ، ممنون
    عضو سایت
    05 بهمن 1389 - 22:24

    سلام
    یک ماه است که سایت خودم را ایجاد کردم.
    من حتی اسم سایت خودم را به طور کامل در گوگل وارد میکنم اما آن را نشان نمیدهد ،البته من سایت خودم را به موتور های جست و جو دادم ولی نمیدونم چرا اصلا سایت من در گوگل و دیگر موتور های جست وجو اصلا نمایش داده نمیشود
    لطفا راهنمایی کنید چیکار کنم.
    البته من چون نمیدونستم چند بار سایت خودم را در گوگل ثبت کردم
    و در جاهایی خواندم که این کار باعث حذف سایت و رفتن سایت به لیست سیاه میشود
    از کجا بفهمم سایتم حذف شده و در لیست سیاه قرار گرفته و بیرون آوردن از این لیست باید چیکار کنم

    مرسی
    عضو سایت
    06 بهمن 1389 - 20:46
    0711koko,
    نگران نباش گاهی وقت ها چند ماهی طول میکشه نا در نتایج جستجو ظاهر بشه. اگر با وبلاگ ویا وب سایت های رنک بالا تبادل لینک کنی و همچنین سایت رو در وب مستر گوگل ثبت کنی خیلی بهتره.
    ضمنا این سوالات رو در انجمن بپرس fellow
    جهت ارسال نظر، فرم زیر را تکمیل نمائید:
    نام:*
    ایمیل:*
    متن نظر:

     
    پررنگکج خط دارخط دار در وسط|سمت چپوسط سمت راست|قرار دادن شکلکانتخاب رنگ|پنهان کردن متنقراردادن نقل قولتبدیل نوشته ها به زبان روسیقراردادن Spoiler
    کد امنیتی: *