Інструмент Wget економить час, якщо потрібно отримати файли з віддаленого сховища, або цілі Web-сторінки з Web- і FTP-серверів. За допомогою цього інструменту можна проводити аудит Web-вузлів і вдосконалювати їх захист. Багато в чому, Wget схожий на утиліту Curl, інструмент командного рядка з відкритим вихідним кодом, який поширюється відповідно до умов ліцензії GNU, в якому для завантаження віддалених файлів використовуються протоколи HTTP, HTTP Secure (HTTPS) і FTP.
Реєстрація на конференцію
Утиліта WGET забере дані з віддаленої системи
Однак Wget володіє унікальними функціями, яких немає в Curl, зокрема, можливістю рекурсивно завантажувати цілі Web-вузли, а не окремі файли. В даній статті розповідається, як використовувати Wget для типових адміністративних завдань. Цей інструмент значно полегшує перебудову сервера і автоматизовані завантаження.
Завантажуємо і встановлюємо Wget
Щоб налаштувати Wget на використання HTTPS, необхідно встановити бібліотеки OpenSSL, які представляють собою прості DLL-файли з складі завантаження Wget. Слід розпакувати файл Wget.zip і додати каталог Wget в шлях пошуку, або скопіювати файли wget.exe, libeay32.dll і ssleay32.dll в папку, для якої задано шлях (наприклад, C: windows, C: windowssystem32). Серед завантаження Wget є довідковий файл для Windows (wget.hlp). Список численних параметрів командного рядка можна отримати в будь-який час, ввівши команду
Працювати з Wget просто. Щоб витягти віддалену Web-сторінку, слід відкрити командний рядок і ввести команду
Якщо Web-сторінка, обрана за замовчуванням, невідома, то досить ввести
і Wget завантажить домашню сторінку за замовчуванням, точно так же, як при введенні URL в браузер. За замовчуванням, Wget зберігає файли в каталозі, з якого запущена команда. Вказати інший шлях можна за допомогою параметра -P
Можливості Wget помітно розширюються, якщо використовувати інструмент з параметрами командного рядка. Наприклад, параметр -r обесапечівает рекурсивне витяг. за командою
Wget досліджує сайт і завантажує всі виявлені Web-сторінки, графічні зображення і Web-сторінки, на які є посилання. Глибина рекурсії - п'ять рівнів. Іншими словами, утиліта витягує першу Web-сторінку, знаходить посилання на цій сторінці, витягує Web-сторінки, на які вказують посилання, і повторює цей процес до тих пір, поки не буде досягнутий п'ятий рівень. Обмежити глибину дослідження можна, вказавши рівень за допомогою ключа -l n. Наприклад, команда
задає пошук на Web-вузлі на два рівня в глибину. При використанні рекурсії слід дотримуватися обережності, інакше можна заповнити витягнутими сторінками весь жорсткий диск. Крім того, ви можете накликати на себе гнів Web-адміністраторів, так як інструмент намагається витягти всі виявлені файли якомога швидше і створює зайве навантаження на сайт, особливо якщо пропускна здатність вашого (і вузла) каналу зв'язку невелика. За допомогою параметра -w можна ввічливо вказати час очікування (в секундах) між завантаженням сторінок.
Витягнуті файли зберігаються в новому каталозі, названому на ім'я Web-вузла. У попередньому прикладі, Wget створив би каталог з ім'ям www.targetwebsite.com і зберіг локальну копію сайту в цьому каталозі. Цей каталог створюється в каталозі, з якого був запущений інструмент, якщо за допомогою параметра -P path не вказано інше місце. наприклад,
забезпечить регулярне Web-вузла в C: wgetstuffwww.targetwebsite.com. У цій папці буде збережено вміст власне Web-вузла - наприклад, такі файли, як index.html, каталоги з іменами / images і / css, і будь-які інші основні і допоміжні файли для цього сайту.
Вибір певних файлів і каталогів
За допомогою параметрів -I directory list і -A file extension list можна налаштувати Wget на завантаження файлів тільки із зазначених каталогів або файлів певних типів. Наприклад, команда
завантажує тільки вміст каталогу / images. команда
завантажує тільки зображення JPEG та GIF. Ці параметри корисні для фільтрації завантаження контенту, щоб заощадити як простір на жорсткому диску, так і смугу пропускання каналу зв'язку.
обмеження Wget
Wget - хороша альтернатива вбудованому FTP-клієнту Windows, завдяки сумісності з універсальними символами і збереженню міток дати і часу оригінального файлу. Для завантаження за розкладом тільки новітніх файлів з віддаленого каталогу FTP можна використовувати команду
Завдяки параметру -N витягуються тільки файли, більш нові, ніж попередньо отримані. В даному прикладі, Wget реєструється на віддаленому FTP-сервері через анонімне з'єднання (при необхідності, можна використовувати ftp: // user: password @ host / path, щоб вказати ім'я користувача і пароль), переходить в зазначений каталог і намагається завантажити тільки нові файли .
Автоматизація адміністративних завдань
Утиліта Wget особливо корисна, якщо потрібно дистанційно завантажувати файли на сервер виключно із застосуванням командного рядка. Наприклад, можна встановити з'єднання Telnet з віддаленим сервером Windows і виконати команду
щоб завантажити виправлення від Microsoft на цей сервер Windows. Лапки забезпечують коректну передачу URL в програму Wget, що буває дуже важливо, в залежності від складності URL. Крім того, механізм працює тільки з традиційними процедурами завантаження файлів, доступних через статичний URL. Наприклад, такі інструменти, як Wget, непридатні для завантаження програм з використанням нового інтерактивного елемента управління ActiveX Genuine Windows компанії Microsoft.
застосовуйте Wget
Wget різко прискорює процес налаштування конфігурації нового комп'ютера, і місцезнаходження вихідних файлів добре документовано. Наприклад, команду для завантаження нової програми або виправлення можна скопіювати в конфігураційний документ, щоб згодом точно знати, звідки і для якої мети була завантажена програма. Якщо комп'ютер доведеться відновлювати заново, то можна скопіювати команди з таких документів в консоль і швидко отримати файли. Wget - простий, але корисний інструмент для управління і роботи з даними з віддалених систем.
Поділіться матеріалом з колегами і друзями