توضیح مختصر: راه های فراوانی برای به اصطلاح رام کردن روبات موتورهای جستجو وجود دارد اما یکی از راه های مفید، استفاده از فایل robots.txt می باشد که توسط این فایل می توانید به روبات ها به نوعی دستور دهید که در چه تاریخ، چه زمان وارد و چه فایل و چه فولدری را ایندکس کند.یکی از پارامتر های robots.txt زمان دیرکرد روبات ها است که توسط این پارامتر می توانید مشخص کنید روبات چقدر تأخیری داشته باشد. تا چند روز پیش برای تمامی سیستم های مدیریت محتوا این پارامتر یکی بود اما امروز دیتالایف خود را از آنها جدا کرد. زیرا با توجه به تبهر خاصی که در رام کردن روبات ها دارد و نقشه برنامه نویسی آن و کدی که از گوگل برای ایندکس شدن مطالب و صفحات دریافت کرده بر این باور است که مقدار 1 برای دیرکرد روبات ها مناسب نمی باشد و بجای آن مقدار 10 را به کاربران پیشنهاد کرده است.