Високопродуктивні обчислення все більше завойовують світ. Вони оптимізуються під завдання, видозмінюються і стають своїм неповторним світом. Ми розглянемо кілька рішень, що належать цьому світу.
Основне застосування суперкомп'ютерів - в розрахунках математичних моделей різних конструкцій, явищ, процесів і т.п. Визначення необхідності проведення таких розрахунків не наша прерогатива. Зате ми можемо допомогти у визначенні архітектури та складу необхідного суперкомп'ютера для ваших цілей.
Рішення можуть бути як для простих інженерних розрахунків, так і для фундаментальних наукових досліджень з використанням сіток розмірністю в сотні мільйонів осередків. Наші рішення перевірені в роботі в університетах, підприємствах і провідних галузевих і академічних наукових інститутах.
Рішення на базі високопродуктивних SMP систем сімейства x86 / x64
Базовим рішенням є сервер з кількістю процеcсорних ядер від 64 штук і об'ємом оперативної пам'яті від 128 GB. Мережеві інтерфейси можуть бути запропоновані різні: 1 Gigabit Ethernet, 10 Gigabit Ethernet, Infiniband QDR або FDR. Базовим є інтерфейс 10 Gigabit Ethernet в наслідку своєї універсальності і пропускної здатності. Такі рішення вкрай затребувані при розрахунках великих моделей в фундаментальних дослідженнях.
Рішення на базі кластерів, обчислювальні вузли яких спілкуються між собою за допомогою MPI
Дане рішення є загальновживаним. Але навіть стандартні рішення періодично не показують очікувані результати. Відбувається це виключно внаслідок не розуміння виконавцями вимог вирішуваних завдань і не ефективної оптимізації суперкомп'ютера під ці завдання.
Конфігурації обчислювальних вузлів варіюються від двох сокетних до восьми сокетних, побудованих на базі процесорів сімейства x86 / x64 Intel Xeon або AMD Opteron. Розмір оперативної пам'яті від 1 GB до 16 GB на одне фізичне ядро. Інтерконект базово пропонується Infiniband, але для певного класу задач використання 10 Gigabit Ethernet дає більш високу ефективність.
Масштабування цього рішення дозволяє створювати суперкомп'ютери з піковою продуктивністю до декількох PFlops.
Для збільшення продуктивності обчислювальних вузлів застосовуються різного роду прискорювачі. Існує кілька типів прискорювачів. Основними є прискорювачі на базі потокових процесорів і на базі перепрограмованих логічних вентилях.
Типовим представником потокових прискорювачів є AMD FireStream, nVidia Fermi, Intel Xeon Phi. Виконано дані прискорювачі зазвичай у вигляді плати розширення з інтерфейсом PCI-e. Продуктивність зазначених вище прискорювачів на сьогоднішній день складає близько 1 TFlops на операціях з подвійною точністю.
Будь суперкомп'ютер має кілька мереж. Маленький може обійтися і двома-трьома. Великі зазвичай використовують до три-п'ять мереж. Найбільш використовувані мережі - Infiniband і Ethernet. Так само для певних суперкомп'ютерів застосовуються спеціалізовані мережі з організацією 2D-тор, 3D-тор, ... nD-тор. Всі перераховані мережі мають повне право пропускною спроможністю при будь-яких навантаженнях і мають мінімальні значення затримки при передачі даних.
Будь суперкомп'ютер має власну СГД. Рідко коли одна велика СГД обслуговує кілька суперкомп'ютерів. Але таке той же можливо. Відмінною особливістю СГД для суперкомп'ютерів є висока продуктивність введення-виведення, низька затримка, можливість надавати паралельний доступ до одного файлу великій кількості вузлів (у великих суперкомп'ютерах до десятків тисяч вузлів), надійність, відмовостійкість і т.д.
Буває, що для невеликих суперкомп'ютерів досить і звичайної СГД без паралельної файлової системи. Тому вибір будь-якої СГД грунтується, перш за все, від потреб стоїть завдання.
СГД з паралельної файлової системою
Але це не обмежує можливість застосування закритих технологій. Так широко відомі такі файлові системи: GPFS, Lustre, OneFS, PanFS, StorNext, ExaData. Кожна така файлова система має унікальні можливості і буває незамінна для певного кола завдань. Наприклад, для медійної обробки найбільш підходять ExaData і StorNext. Для роботи з суперкомп'ютерами GPFS, Lustre і PanFS. Однак варто зазначити, що PanFS працює тільки на СГД компанії Panasas і тому використовувати її можна лише в зв'язці з зазначеним обладнанням.
Іншою відмітною критерієм може бути місце розташування файлової системи. OneFS і PanFS встановлені в самих СГД. GPFS, Lustre, StorNext, ExaData встановлюються на виділені сервери. Пропонуємо звернути увагу на наступні паралельні файлові системи:
Network File System (NFS) - протокол мережевого доступу до файлових систем. NFS абстрагована від типів файлових систем як сервера, так і клієнта, існує безліч реалізацій NFS-серверів і клієнтів для різних операційних систем і апаратних архітектур. Складовою частиною NFS v.4.1. є pNFS - Parallel NFS, механізм паралельного доступу NFS-клієнта до даних безлічі розподілених NFS-серверів. Наявність такого механізму в стандарті мережевої файлової системи допоможе будувати розподілені «хмарні» ( «cloud») сховища та інформаційні системи.
Паралельна файлова система GPFS розроблена і розвивається компанією IBM. IBM General Parallel File System (GPFS) - це високопродуктивна файлова система з колективним доступом до дискам, що забезпечує швидкий доступ до всіх вузлів гомогенного або гетерогенного кластера серверів IBM UNIX під управлінням операційної системи AIX 5L або Linux.
Lustre - це розподілена файлова система масового паралелізму, яка використовується зазвичай для великомасштабних кластерних обчислень. Назва Lustre є контамінацією, утвореної словами Linux і cluster. Реалізований під ліцензією GNU GPL, проект надає високопродуктивну файлову систему для кластерів з десятками тисяч вузлів мережі і петабайтного сховищами інформації.
Архітектура СГД з паралельної файлової системою
Базовим рішенням є наявність систем зберігання даних з блоковим доступом і підключених до них групи серверів, на яких виконується код паралельної файлової системи. Ця група в свою чергу поділяється на файлові сервера і сервера метаданих. Файлові сервера безпосередньо розміщують дані на доступне їм дисковий простір і забезпечують швидкий доступ до них. У той же час серверам, які споживають ці дані, невідомо у якого файлового сервера ці дані брати. Тому первинний запит йде сервера метаданих і він вже вказує з якого файлового сервера яку частину запитуваної файлу треба буде взяти.
Іншим рішенням є рішення компанії NetApp. DataONTAP Cluster Mode функціонує на кожному контролері СГД і утворює з цих контролерів єдину однорангову рівноправну систему зберігання даних. Запит, що прийшов до будь-якого контролера, обробляється цим контролером і він запитує відсутні дані у своїх сусідів. Таким чином, немає необхідності встановлювати виділені сервера метаданих.
Проект Apache ™ Hadoop® розвивається з відкритим вихідним кодом для надійних, масштабованих, розподілених обчислень.
Бібліотека програмного забезпечення Apache Hadoop є основою, яка реалізує розподілену обробку великих наборів даних через кластери комп'ютерів з використанням простої моделі програмування. Вона призначена для масштабування від одного сервера до тисячі, де кожен сервер виступає в ролі локального обчислювача і одночасно системи зберігання.
У проекті Hadoop застосовується обчислювальна парадигма MapReduce. Hadoop MapReduce - база для програмування і виконання розподілених обчислень в рамках парадигми MapReduce, а також набір Java-класів і виконуваних утиліт для створення пакетних завдань на MapReduce-обробку. В сукупності вони доповнюють один одного.
Розробнику додатки для Hadoop MapReduce необхідно реалізувати базовий обробник, який на кожному обчислювальному вузлі кластера забезпечить перетворення вихідних пар «ключ-значення» в проміжний набір пар «ключ-значень» (клас, який реалізує інтерфейс Mapper, названий по функції вищого порядку Map), і обробник, який зведе проміжний набір пар в остаточний, скорочений набір (згортку, клас, який реалізує інтерфейс Reducer). Каркас передає на вхід згортки відсортовані висновки від базових оброблювачів, зведення складається з трьох фаз - shuffle (тасування, виділення потрібної секції виведення), sort (сортування, угруповання по ключам висновків від розподільників - досортування, що вимагається в разі, коли різні атомарні обробники повертають набори з однаковими ключами, при цьому, правила сортування на цій фазі можуть бути задані програмно і використовувати будь-які особливості внутрішньої структури ключів) і власне reduce (усічення) - отримання результуючого набору. Для деяких видів обробки згортка не потрібно, і Hadoop MapReduce повертає в цьому випадку набір відсортованих пар, отриманих базовими обработчиками.
Але як показала практика, не для всіх таких завдань ефективний Hadoop в його первісному вигляді. Більш гнучкою і ефективною виявилася архітектура, де дискові квоти знаходяться на високопродуктивному відмовостійкості дисковому сховищі і обчислювальні вузли підключені вже безпосередньо до СГД. Таким чином, ми отримуємо універсальну і гнучку структуру, в якій кожен закінчений логічний компонент архітектури незалежний від інших. Досвід застосування сили показав ефективність використання такого рішення.
NetApp® E-series - високопродуктивні системи зберігання даних, що відповідають високим корпоративним вимогам продуктивності і обсягу зберігання без шкоди з точки зору простоти і ефективності. Що відповідають безлічі різних вимог збалансовані системи розроблені таким чином, що однаково добре підтримують високопродуктивні файлові системи, що вимагають високої пропускної здатності програми та робочі навантаження при виконанні безлічі операцій. Можливість використовувати в системах E-series різні дискові полки дозволяє створювати спеціальні конфігурації, що адаптуються для будь-якого середовища.
DataONTAP - це операційна система систем зберігання даних NetApp. Він має кілька різновидів: DataONTAP Seven Mode, DataONTAP Cluster Mode, DataONTAP Seven Mode V-series.
Найбільш затребуваним для суперкомп'ютерів є DataONTAP Cluster Mode. Прабатьком DataONTAP Cluster Mode була відокремлена гілка DataONTAP GX (остання версія 10). Але починаючи з версії 8, DataONTAP має єдину нумерацію версій і єдиний базовий код з Seven Mode і V-series.
Крім надання можливостей паралельного доступу до даних. DataONTAP Cluster Mode дозволяє об'єднувати декілька СГД компанії NetApp, в т. Ч. Різних комплектацій і моделей, в єдину СГД з єдиною системою управління і єдиними агрегатами, розташованими одночасно на дисках всіх контролерів. Таким чином досягається можливість збільшення продуктивності всіх частин єдиної системи зберігання даних. Паралельний доступ забезпечується за протоколом NFS v.4.1. Так само підтримуються протоколи CIFS, iSCSI, FibreChanel.
У планах компанії NetApp в самий найближчий час злити дві гілки Seven Mode і Cluster Mode в єдину з підтримкою можливостей їх обох.
Lustre - це розподілена файлова система масового паралелізму, яка використовується зазвичай для великомасштабних кластерних обчислень. Назва Lustre є контамінацією, утвореної словами Linux і cluster. Реалізований під ліцензією GNU GPL, проект надає високопродуктивну файлову систему для кластерів з десятками тисяч вузлів мережі і петабайтного сховищами інформації.
Баяндин Е.А. директор з технічної підтримки та супроводу ТОВ «С 7 Тревел Рітейл»
«Для розміщення наших сервісів ми розглянули безліч постачальників послуг, за підсумком вибрали компанію ІТ-ГРАД. Для початку перенесли тестову середу, зараз розміщуємо і частина продуктивний. За час співпраці компанія ІТ-ГРАД продемонструвала відповідальний і компетентний підхід до виконання поставлених перед ними завдань. »
Меркуданов Н.А. зам. генерального директора ТОВ «Бізнес Рішення»
«На етапі вибору постачальника ми піддали" ІТ-ГРАД "всебічної перевірки як з технічної, так і з організаційної точки зору. В процесі "ІТ-ГРАД" показав себе з найкращого боку і залишається нашим надійним партнером вже майже два роки. »
Відгук керівника інформаційно-аналітичного управління РПЦ В.Кіпшідзе
«Висловлюємо щиру подяку і вдячність ТОВ" ІТ-ГРАД "і особисто генеральному директору гачком Д.В. за підтримку, надану православному інтернет-проекту Prihod.ru, надійним партнером Російської Православної Церкви в області медіа та інтернет-технологій. »
Відгук заступника начальника відділу автоматизації ТОВ «Міцар» Олексія Доманнікова
«Ми зіткнулися з проблемою очищення пошти від великих обсягів вірусів і спаму. ІТ-ГРАД забезпечив нас віртуальним сервером і необхідною кількістю ліцензій Spam Titan, відповідним поточним потребам компанії. »
Венедиктова Р.Е. генеральний директор ТОВ «Прометей»
«На протязі вже більше двох років дана компанія надає нам послуги з організації віртуальної інфраструктури на базі технології VMware. Наш бізнес - це телекомунікаційні послуги, білінг яких є однією з найважливіших бізнес-завдань компанії "Прометей". Завдяки технічним рішенням "ІТ-ГРАД" білінг наших послуг забезпечується на високому рівні. »
Андрій Охріменко, ит-директор інтернет-магазину «Boutique.ru»
«На даний момент ми відмовилися від 30 робочих станцій і перевели клієнтів на віртуальні десктопи на основі рішення VMware View, розгорнуті в публічному хмарі« IT-GRAD ». Інфраструктура робочих станцій приведена до стандартного вигляду, що полегшує її підтримку, зменшує час реакції на інциденти і полегшує процес введення / виведення нових робочих місць для співробітників. »
Генеральний директор ТОВ «Комплект»
Іващенко Олена Валентинівна, заступник генерального директора ТОВ «Мосрегіонвент»
«Протягом 2 років ми успішно співпрацюємо з компанією ІТ-ГРАД. Ми орендуємо конфігурації 1С: Бухгалтерія 8.2 і 1С: Управління торгівлею 8.2. Дані конфігурації були доопрацьовані технічними фахівцями ІТ-ГРАД відповідно до нашими побажаннями, за що висловлюємо їм окрему подяку. »
Карпухін В'ячеслав, директор з інформаційних технологій ТОВ «Армакс Групп»
«На основі виділеної інфраструктури було організовано 2 віртуальних сервера: термінальний сервер + сервер 1С і сервер БД. Даний підхід до організації ІТ дозволив нам забезпечити якісну інфраструктуру для бухгалтерів і уникнути капітальних витрат. »
Шевченко Марина Сергіївна, директор ТОВ «Повірений» (Бухгалтерський аутсорсинг)
«У« хмарному »сервісі від« ІТ-ГРАД »привертає захищеність даних. Можна бути впевненими в тому, що буде використано тільки ліцензійне програмне забезпечення і захищений простір. »
Борис Грейдінгер, директор з інформаційних технологій Компанії ESET
«Ми залишилися задоволені якістю послуг, наданих компанією« ІТ-ГРАД ». Чи можемо відзначити якість технічної підтримки та готовність оперативно надати всі необхідні консультації. Чи готові рекомендувати оренду віртуальних машин «ІТ-ГРАД» як гнучке рішення, що дозволяє уникнути значних витрат на побудову власної інфраструктури. »
Павло Власов, директор «Інформаційні сервіси ЖКГ»
«За час роботи з командою« ІТ-ГРАД »виділені наступні переваги використовуваних послуг: доступність, ціна, гнучкість і потужність самої платформи VMware. Зручно робити поновлення наших систем, попередньо або роблячи повний backup віртуальної машини, або snapshot з можливість дуже швидкого відкоту.
Delivery Club: як хмара IaaS допомагає в організації сервісу з доставки їжі
PickPoint: - перша вУкаіни мережу Постамат: 5 років в хмарі IaaS
IaaS в ритейлі: досвід мережі магазинів Hamleys
FitnessBar.ru: IaaS для найбільшої мережі магазинів спортивного харчування та аксесуарів
Перший БІТ: використання IaaS хмарним провайдером для надання SaaS-сервісу
ЦРТ: «Мовні технології» з хмари IaaS-провайдера
Prihod.ru: досвід використання хмари IaaS найбільшим православним інтернет-проектом вУкаіни