Давайте розглянемо ще один безкоштовний парсер видачі Google GScraper. Парсер є кращим у своєму роді завдяки високій швидкості парсинга, можливості налаштовувати парсер під різні потреби, ну і звичайно безкоштовності.
Після запуску парсеру ми бачимо три вкладки «Proxy», «Options» і «Scrape» в яких можна задати відповідні налаштування (ввести проксі-лист, поставити таймаут, максимальна кількість потоків, вказати файл для експорту результатів парсинга, отримати тайтли спарсенних URL і т . Д.). Залишимо ці настройки за замовчуванням. Проксі використовувати не будемо. При тривалому парсінгу без проксі звичайно не обійтися, тому якщо будете парсити багато і довго запасайтеся робочими проксі.
Давайте для прикладу Спарс сайти, побудовані на движку DLE для подальшої реєстрації на них.
Переходимо на вкладку «Scrape» і вводимо ознаки DLE і ключове слово для парсинга: Footprint (s) - «index.php? Do = register», Keywords - "реєстрація". Тиснемо «Start scrape»
Як бачите, за 13 секунд парсер знайшов 739 URL. Тепер давайте очистимо результати від дублікатів, нам необхідно видалити дублікати доменів. Для цього вибираємо «Remove duplicate domain» і тиснемо «Do». В результаті залишилося 385 сайтів. Тепер таким же чином визначимо PR залишилися сайтів, кількість сторінок в індексі Google і тайтли сторінок вибираючи відповідні опції і натискаючи «Do».
Як бачите, деякі сайти з видачі не є сайтами DLE, наприклад можна побачити форум АВАСТ. Це тому, що на сторінці форуму, швидше за все, обговорюються ознаки DLE і серед них «index.php? Do = register». Тому якщо будете парсити сайти DLE, краще скористайтеся таким запитом: «inurl:" index.php? Do = lostpassword »пароль».
Тепер можна зберегти отримані результати (тільки посилання або повністю всі колонки).
Завантажити GScraper можна з офсайта за цим посиланням або з Яндекс Диска.
Існує також платна версія парсера з більш широкими можливостями (наприклад, використання проксі з офсайта програми), яка на даний момент коштує 68 у.о.