Чи повинен ai вміти пояснити, що і як він робить

Чи повинен ai вміти пояснити, що і як він робить

В міру ускладнення алгоритмів, що обробляють все зростаючий обсяг даних, і приймають все більш різноманітні рішення, виходить на перший план питання - а як вони це роблять?

У міру того як штучний інтелект (AI) стає більш складним, він також стає все менш прозорим. Алгоритми машинного навчання можуть обробляти величезні масиви даних, генерувати прогнози і приймати рішення - без можливості пояснити людям, що він, власне, робить. Питання, чи повинні ми вимагати обґрунтувань цих дій, маючи на увазі можливі наслідки, - наприклад, якщо мова йде про наймання на роботу або про притягнення до кримінальної відповідальності, - і які заходи регулювання допоможуть сделатьAI більш прозорим, зрозумілим і підзвітним. Метью Хатсон (Matthew Hutson), співробітник Science. поговорив з Сандрою Вахтер (SandraWachter), що спеціалізується на проблемах етики роботи з даними, з Оксфордського університету, Великобританія, і Інституту Алана Тьюринга.

- У яких областях необхідна прозорість?

- Алгоритм може зробити для вас дуже нудну роботу, він ефективний, він не втомлюється, і він часто може приймати більш правильні рішення, ніж людина. Але прозорість необхідна там, де технології істотно впливають на нас. Алгоритми вирішують, чи є люди підходящими кандидатами на отримання іпотечних кредитів, позик або страхування, визначають процентні ставки і т.д. Вони приймають рішення про наймання і часом долі абітурієнтів. Ще в 1970 роках Медична школа Св. Георгія в Лондоні розробила програмне забезпечення для первинного скринінгу заявників - а пізніше було показано. що алгоритми на ділі дискримінують за расовою і гендерним принципом.

Судді і поліція використовують алгоритми для винесення вироків, надання умовно-дострокового звільнення і профілактичної роботи поліції. У минулому році ProPublica повідомила. що популярна програма під назвою COMPAS переоцінила ризики повторного вчинення злочинів чорношкірими підсудними. Робототехніка та автономні системи можуть використовуватися для хірургії, догляду, транспорту і кримінального правосуддя. Ми повинні мати право оцінювати точність і логіку цих рішень.

- Що вже роблять регулятори з цього приводу?

- Регулятори у всьому світі обговорюють і вирішують ці проблеми, але іноді вони повинні задовольняти конкуруючі інтереси. З одного боку, державний сектор повинен забезпечити безпечне функціонування алгоритмів, AI і робототехніки і гарантувати, що ці системи не будуть дискримінувати чи іншим чином завдавати шкоди людям. З іншого боку, регулювання, яке потребує прозорості, може перешкоджати інноваціям і дослідженням і негативно позначатися на ділових інтересах, таких як комерційна таємниця.

Регулювання може саме по собі створювати проблеми, якщо з самого початку вимоги не визначені чітко, або якщо воно вимагає того, що технічно неможливо реалізувати. Деякі люди зі спільноти AI знають, що ви не завжди можете пояснити роботу AI, тому що навіть розробники систем не розуміють, як вони працюють. Ті, хто зробив AlphaGo [програму, обігравши кращого в світі гравця в го. - Наукова Росія], не знали, як алгоритм придумував свої ходи.

- Чи існують відмінності між діями американських і європейських регуляторів?

- США дотримуються більш м'якого підходу, саморегулювання. Нинішня політика більше орієнтована на освіту дослідників і добровільні кодекси дій для приватного сектора. Це може бути результатом переконаності в тому, що якщо регулювати занадто багато, це може негативно вплинути на дослідження, інновації та економічне зростання.

- Чи було в достатній мірі прийнятий до уваги той факт, що люди, які приймають рішення, теж у великій мірі «чорні ящики»?

- Так, у людей бувають забобони, які призводять до дискримінаційних рішень, і ми часто не знаємо, коли і чому люди упереджені. З машинним навчанням у нас є потенціал для прийняття менш упереджених рішень. Але алгоритми, навчені на «упереджених» даних, підтримують і відтворюють ці упередження і навіть розвивають нові.

- А чи можна привести приклад?

В інших випадках мова йде скоріше про менш очевидних на перший погляд упередженнях. Є класичний (гіпотетичний) приклад. Люди з червоними автомобілями можуть бути змушені платити більш високі страхові внески - і це не дискримінація по відношенню до цієї групи, але може мати непродумані заздалегідь наслідки. Спортивні автомобілі часто бувають червоними, і люди, які купують спортивні автомобілі, часто можна віднести до мачо, які схильні до небезпечного стилю водіння і тому частіше потрапляють в аварії. Відповідно, якщо з них вимагають більше платити за страховку, це справедливо. Але якщо червоні автомобілі з більшою ймовірністю частіше пошкоджуються в аваріях і потім продаються, то люди з меншим розташовуваним доходом можуть з більшою ймовірністю також їздити на них - і теж платити більш високі страхові внески. Тому одних тільки даних, які ми використовуємо, недостатньо, щоб визначити логіку, має дискримінаційний ефект.

Але я впевнена, ми можемо розробити більш ефективні інструменти для визначення забобонів і способи їх усунути.