Програма Key Collector - це платний багатофункціональний пакет інструментів для роботи з семантичним ядром. Вона допоможе швидко збирати тисячі запитів, без праці відсівати непотрібні і складати ефективне семантичне ядро навіть для багатосторінкового порталу.
Багатьом вебмайстрам доводиться використовувати Яндекс.Вордстат при роботі з «СЯ», але Яндекс ввів досить багато обмежень на багатопоточний застосування вордстат. Тому має сенс використовувати проксі-сервіси, що дозволяють обходити подібні обмеження.
Використання безкоштовних проксі
Робота проксі відбувається в режимі декількох потоків і надає до використання два типи інтерфейсу: професійний і полегшений.
Професійний режим має налаштування числа використовуваних потоків і часу очікування відповіді. У цьому режимі можна задати для Key Collector маркери, які повинні нести відповідальність обраного сервісу. Є налаштування для збору статистики Yandex.Wordstat. При виявленні капчи на сайті проксі-сервіс тепер працює інакше, так як він деактивує при цьому на 360 сек.
Щоб працювати з безкоштовними, а часто і низькоякісними проксі-сервісами, потрібно для початку додати в таблицю серверів необхідні послуги і перевірити їх на доступність через спрощений режим за допомогою «Перевірити в Yandex.Wordstat».
Неякісні або неробочі сервіси зі списку видаляються. Щоб всі вони використовувалися при створенні статистики, потрібно поставити групову позначку в таблиці.
Далі слід установка налаштувань програми. Активувати функцію «Автоматично перемикати проксі-сервіс при зустрічі капчи». У розділі «Парсинг» для Yandex.Wordstat виставляються наступні настройки:
- «Не зменшувати кількість потоків при виключенні проксі-серверів» - включити.
- «При помилках отримання відповіді від сервісу (таймаут відповіді і т.п.) виключати проксі-сервер» - включити, якщо кількість проксі-сервісів у багато разів перевищує кількість встановлених потоків.
- «Таймаут очікування відповіді від сервісу» - встановити з урахуванням ширини каналу, якості Інтернет-з'єднання, кількості проксі-сервісів. При хороших показниках встановити 8000 мс.
- «Кількість потоків» - встановити менше, ніж число проксі-сервісів.
- «Використовувати основний IP» - відключити.
- «Затримки між запитами» - встановити не менше 5 сек.
- Ці настройки не спрямовані на збереження працездатності проксі. Їх завдання - максимально швидко зібрати дані.
Платні анонімні проксі-сервери
Купити анонімні проксі-сервера - це більш надійний і ефективний спосіб парсити Yandex.Wordstat. Придбати їх можна тут.
З використанням в Key Collektor платних приватних проксі-серверів парсинг веб-сайтів і формування семантичного ядра відбувається набагато простіше і набагато швидше. При цьому немає ризику бути заблокованим системою Yandex.Wordstat, і не буде потрібно витрачати час і сили на введення «captcha».
Вхід через VPN
Це відмінний спосіб забезпечення конфіденційної, безпечної і високошвидкісний роботи програми Key Collector в мережі. Спеціальна технологія Open VPN дозволяє отримати анонімне перебування в Інтернет, так як забезпечується безпечне з'єднання і передача даних і незалежність від реального географічного положення. Таким чином, парсити можна без ризику бути забаненим, так як реальний IP залишається невідомим. Це тунель, через який всі дані проходять в зашифрованому вигляді, тому провайдер не може переглядати, які саме сайти були відвідані в мережі.
На сьогоднішній день більшість безкоштовних проксі-листів знаходяться в лазні. Розробники оптимізували роботу програми з проксі-серверами, дозволяючи парсити зручно, швидко і без обмежень.