Крім robots.txt існують і інші джентельменськи угоди для роботи роботів - наприклад, він не повинен робити більше одного конекту, щоб не забити канал і дати можливість іншим користувачам Мережі спілкуватися з даними сервером.
Для пошукової машини Yandex.Ru до складу робота входять ще модулі індексації, розпізнавання кодувань (якщо на сторінці міститься російську мову) і визначення унікальності документа.
1. Як Yandex.Ru дізнається про нові ресурсах
2. Правила індексації в Yandex.Ru
Крім цього, Yandex починає боротися зі спамом, і сторінки з часом redirect'а рівним нулю будуть виключатися з індексування (незрозуміло, які ще цілі, крім спаму, можуть бути у творців сторінки, яку користувач в принципі не може побачити).
Робот Yandex.Ru зберігає дату останнього обходу кожного URL, дату його зміни (надіслану його Web-сервером) і дату внесення останніх змін в базу пошуку (дату індексації). Він оптимізує обхід Мережі таким чином, щоб частіше відвідувати найбільш змінювані сервера.
З цієї причини, а також тому, що на Yandex.Ru працює пошук і сортування по датах, дуже хотілося б, щоб сервера видавали коректні дати зміни файлів, чого не відбувається більш ніж в 20 відсотків випадків.
3. Як дізнатися, проіндексовані чи ресурс
4. конфігурують сервер так. щоб він коректно видавав дати файлів і кодування російської мови.
Ресурс в системі описаний неправильно. Як це виправити?
Ми часто отримуємо листи на кшталт "Я не заносив в Вашу систему мій ресурс, і він описаний неправильно. Як мені виправити становище?" Взагалі кажучи, ресурс, якщо він існує, не може бути занесений неправильно. Якщо він секретний, забороніть доступ до нього в robots.txt. Якщо він не шукається по тих словах, за якими Вам би хотілося, або знаходиться не в перших рядах, зверніть увагу на те, що, власне, написано на сторінках Вашого ресурсу.
Yandex.Ru - повнотекстова пошукова машина, тому сторінки будуть знаходитися за словами, написаних на них, а не за тими ключовими словами, якими Ви цей ресурс описали. Врахуйте також, що Yandex працює тільки з текстами і не вміє розпізнавати графічні зображення. Тому, якщо назва намальовано, то варто його повторити де-небудь просто текстом.