Як ми вчили нейронну мережу розпізнавати сукні та туфлі, rusbase

Як ми вчили нейронну мережу розпізнавати сукні та туфлі, rusbase

Так у нас з'явилися ботильйони на танкетці, ботильйони на шпильці, ботильйони на широкому каблуці, ботильйони з хутром і т.д.

І останнє. Ми не розуміли, як буде вести себе нейронка з визначенням матеріалу взуття. Тобто чи буде мережа по високим шкіряним чобіт шукати саме шкіряні чоботи або в результатах пошуку будуть всі чоботи схожою форми, але різного матеріалу?

Загалом, після того, як ми підготували класифікатор взуття, ми стали вважати себе чимось на зразок міксу з Олександра Васильєва, В'ячеслава Зайцева і Валентина Юдашкіна.

Завантаження картинок для навчання ведеться наполовину автоматично нашими внутрішніми алгоритмами, наполовину вручну. Після масив фотографій перевіряється, щоб не було дублів і випадкових невідповідних картинок. Далі все файли приводяться до однаковим назв і одному формату (розширення).

Як ми вчили нейронну мережу розпізнавати сукні та туфлі, rusbase

З чим тут буцалися

Нейронні мережі зараз популярні далеко за межами вузькопрофесійних спільнот. Сплеск інтересу до штучного інтелекту з боку масової публіки був зафіксований на початку цієї весни, коли AlphaGo. мережу-гравець в го від Google, виграла раунд у Лі Сі Дола, чемпіона світу за цією грі. Перцю в історію додали призначені для користувача стартапи по стилізації зображень Prisma. Mlvch і більш рання Deepart.io.

Взагалі треба сказати, що мережами займаються дуже багато. Це акули інтернет-ринку: «Яндекс» (наприклад, їх недавня фіча для Auto.ru -розпізнавання марки і моделі авто по зображенню), Microsoft (сервіс What-Dog.net. Визначальний породи собак по фото), Mail.ru і Facebook (підрозділ Facebook AI Research), і, зрозуміло, Google. Але також це і молоді стартапи (тільки ті, у яких достатньо коштів на обчислювальні потужності).

Усередині мережі вивчають в технічних вузах по всьому світу, зокрема, в МФТІ. До речі, в конкурсах наукових досліджень ми регулярно виходимо в фінал разом з розробниками цієї фінансової інституції.

Конкурентів в цьому полі, звичайно, чимало. За нашими даними, на кінець весни цього року в сфері розпізнавання fashion працюють близько 23 компанії з 10 країн. Великі гравці західних ринків онлайн-рітейлу вже оброблені місцевими компаніями: e-Bay, Zalando, the Net Set, Macy's, Yoox - список можна продовжувати. Але ми думаємо, що місця вистачить усім.

Можливо, ви зараз теж захотіли займатися мережами. Круто!

Тоді відразу озвучимо два моменти, до яких потрібно бути готовими.

Ще раз проговоримо, що важлива частина технології - це навчальні дані. Це перше «але». Щоб мережа вміла успішно розрізняти один вид об'єкта, необхідно зібрати кілька тисяч прикладів цього об'єкта, на яких провелось б навчання. Найчастіше кількість об'єктів обчислюється сотнями. Підсумкові навчальні бази даних можуть налічувати сотні тисяч, мільйони об'єктів.

Хоча слід зазначити, що зараз з'являються різні технології прискореного навчання. Наприклад, загальнодоступний масив вже навчених картинок ImageNet; предобученние нейронні мережі, які вміють розпізнавати образи і не потребують довгої підготовки мережі до роботи.

І друге - зберігання і обробка великих масивів даних вимагає значних обчислювальних потужностей і засобів на інфраструктуру. Для навчання і роботи мереж потрібні карти мінімум з 3-4 Гб пам'яті, а для деяких архітектур потрібні і всі 11 гигов. Картки недешеві: на один невеликий проект йде карта вартістю приблизно 100 000 рублів. Плюс потрібно багато дискового простору під самі дані.

Таким чином, технологія нейромереж широко розвивається, і попит на неї великий. В інтернеті можна знайти масу літератури і досліджень по темі, доступний навіть програмний код мереж. Тобто, з одного боку, технологія є ніби як загальнодоступною, але, з іншого боку, на даний момент вона залишається складною і маловивченою. Великі компанії регулярно проводять різноманітні конкурси на кращі алгоритми, і часто битва йде всього лише за десяті і соті частки точності алгоритмів.

Так, з нашої папером по мобільному розпізнаванню в сфері fashion ми пройшли в фінал KDD. найбільшої конференції в світі в області Knowledge Discovery and Data Mining. Текст доповіді доступний за посиланням.

Ми продовжуємо орати розвивати технологію.