Крім robots.txt існують і інші джентельменськи угоди для роботи роботів - наприклад, він не повинен робити більше одного конекту, щоб не забити канал і дати можливість іншим користувачам Мережі спілкуватися з даними сервером.
Для пошукової машини Yandex.Ru до складу робота входять ще модулі індексації, розпізнавання кодувань (якщо на сторінці міститься російську мову) і визначення унікальності документа.
1. Як Yandex.Ru дізнається про нові ресурсах
2. Правила індексації в Yandex.Ru
3. Як дізнатися, проіндексовані чи ресурс
4. конфігурують сервер так. щоб він коректно видавав дати файлів і кодування російської мови.
Ресурс в системі описаний неправильно. Як це виправити?
Ми часто отримуємо листи на кшталт "Я не заносив в Вашу систему мій ресурс, і він описаний неправильно. Як мені виправити становище?" Взагалі кажучи, ресурс, якщо він існує, не може бути занесений неправильно. Якщо він секретний, забороніть доступ до нього в robots.txt. Якщо він не шукається по тих словах, за якими Вам би хотілося, або знаходиться не в перших рядах, зверніть увагу на те, що, власне, написано на сторінках Вашого ресурсу.
Yandex.Ru - повнотекстова пошукова машина, тому сторінки будуть знаходитися за словами, написаних на них, а не за тими ключовими словами, якими Ви цей ресурс описали. Врахуйте також, що Yandex працює тільки з текстами і не вміє розпізнавати графічні зображення. Тому, якщо назва намальовано, то варто його повторити де-небудь просто текстом. Пропозиції Yandex на тему "як зробити, щоб Вашу сторінку знайшли ті, кому вона потрібна" описані в "Радах Web-майстру"
Взято з www.codeguru.com.ua