Для новачків в Yahoo Pipes вирішив написати невеликий tutorial по роботі з цим сервісом.
Для початку дуже рекомендую хоча б поверхово вивчити специфікацію RSS. без чіткого розуміння цих моментів зробити цікаву трубу буде проблематично.
Починати вивчати сервіс найкраще з огляду готових прикладів. Слід розуміти, що обробка всіх блоків Yahoo Pipes йде послідовно «зверху вниз». Дані, як вода, перетікають по трубах з однієї «ємності» в іншу, де з ними можуть відбуватися якісь перетворення.
При створенні і налагодженні труб не треба забувати про вбудований Debugger - область внизу робочого вікна. У Debugger'е можна відстежувати всі проміжні дані і перетворення rss-потоків.
Розглянемо найбільш корисні модулі Yahoo Pipes.
1. Sources
Модулі з розділу Sources призначені для отримання даних із зовнішніх джерел, наприклад rss стрічок або результатів пошуку деяких сервісів.
Мабуть, основний інструмент в Yahoo Pipes. Отримує і віддає на виході вміст RSS стрічки, зазначеної в поле URL. URL можна задати вручну, а можна підставити у вигляді параметра з іншого блоку (маєте доступ до цього сірий кружечок праворуч від поля введення url?). Можна задавати кілька джерел одночасно.
Дозволяє отримати заголовки і картинки по заданому ключовим словом з популярного сервісу для завантаження фотографій Flickr.com. Незручність в тому, що картинка буде дуже маленького розміру, набагато цікавіше тягнути фотографії безпосередньо з RSS фида Flickr.com.
Повертає пошукові результати Yahoo по заданому ківорди у вигляді RSS потоку. Можна отримати title сайту, url, дату останнього оновлення в індексі і короткий сніпет тексту веб-сторінки. Site restriction дозволяє обмежити область пошуку одним або декількома сайтами.
2. User Inputs
Елементи цієї групи дозволяють ввести якісь константи або запросити вод даних від користувача.
Text Input, Private Text Input
Дуже простий елемент, дозволяє задати рядкові константи під час налагодження труби або під час виконання. Далі ці рядки можуть бути використані для підстановки в інші блоки. Private Text Input відрізняється від звичайного Text Input лише тим, що дозволяє вказати дані, які будуть доступні тільки власнику труби і не переносяться, наприклад, при клонуванні.
3. Operators
Оператори дозволяють виробляти певні маніпуляції з даними rss потоку. Треба розуміти, що кожен оператор застосовує свою дію для всіх items фида.
Оператор Filter пропускає або навпаки блокує якісь дані rss-стрічки, що задовольняють певним умовам. Умови можна накладати на будь-які поля rss стрічки, наприклад, ми хочемо пропустити тільки ті записи, які містять в title слово «new».
Поля для фільтрації завантажуються в дропдаун автоматично при з'єднанні Filter з іншими елементами труби. Це дійсно і для будь-яких інших операторів.
Loop циклічно перебирає кожен item rss фида, застосовуючи до його елементів якісь модифікатори або виробляючи певні дії з даними. Усередині Loop ви можете розміщувати модифікатори рядків або елементи з розділу Sources. для цього необхідно перетягнути модуль безпосередньо на Loop блок.
Опція emit result - перезапише заново весь вміст rss-стрічки, assign results to - направить висновок результатів в якійсь з тегів, і не вплине на існуючі дані.
Дуже корисний і потужний оператор, але вимагає знання регулярних виразів. Приклад на зображенні, чистить текст від html тегів.
Дозволяє перейменувати назву атрибутів для items. Наприклад, щоб привести RSS до правильного формату.
Оператор Truncate - обрізає кількість items в rss до зазначеної довжини. Tail - робить те ж саме, тільки «з кінця» списку.
Split - розділяє RSS-дані на два однакових потоку. Union - об'єднує разом до 5 потоків. Якщо вам необхідно об'єднати більше п'яти rss-потоків - просто використовуйте кілька операторів Union.
Видалить items. які містять дублюючу рядок. Наприклад, якщо ви хочете, щоб на виході вашої RSS не було елементів з однаковим title, то ви можете використовувати цей оператор для фільтрації дублів.
Цей розділ містить модулі, що дозволяють маніпулювати з рядками.
Дуже цікавий модуль, з точки зору можливостей, що надаються - дозволяє переводити рядки з однієї мови на іншу. Має один невеликий недолік - при перекладі видаляє всі html теги, таким чином втрачається форматування тексту.
Складні труби найзручніше розбивати на окремі «під-труби», що виконують певну функцію, а потім збирати з готових шматочків цілісну систему. На вкладці My pipes ви знайдете всі свої створені раніше труби.
Я постарався розглянути найбільш цікаві елементи Yahoo Pipes. Загальна ж їх кількість дещо більше і періодично з'являються нові фічі. Щоб отримати коротку довідку по будь-якому з елементів і посилання на приклад - потрібно натиснути на знак «?» В заголовку будь-якого блоку.