Изкуствен Интелект

5 прочути бедствия, свързани с аналитичните методи и изкуствения интелект

CIO Media

Тор Олавсруд, CIO, САЩ

Тези много сериозни гафове на алгоритмите за данни и машинно обучение илюстрират какво може да се обърка

През 2017 г. авторитетният седмичник The Economist обяви, че данните, а не петролът, са станали най-ценният ресурс в света. Оттогава този рефрен се повтаря непрекъснато. Организации от всеки отрасъл инвестираха и продължават да инвестират големи ресурси в данни и анализ. Но подобно на петрола данните имат своята тъмна страна.

Според доклада на IDG "State of the CIO 2020" 37% от ИТ ръководителите казват, че анализът на данните ще получи най-големия дял от инвестициите в ИТ тази година. Прозренията, придобити от анализ, и действията, подтикнати от алгоритми за машинно обучение, могат да дадат на организациите предимство пред конкурентите, но грешките могат да струват скъпо по отношение на репутацията, приходите или дори живота. Разбирането на данните и какво ви казват те е важно, но също толкова важно е да разбирате своите инструменти, да познавате данните си и да не забравяте нито за миг ценностите на организацията.

Тук са описани няколко много сериозни гафове, свързани с аналитичните методи и изкуствения интелект от миналото десетилетие, които илюстрират какво може да се обърка.

Обединеното кралство изгуби хиляди случаи на COVID, като надвиши лимита на данните в електронните таблици
През октомври 2020 г. държавният орган в Обединеното кралство "Обществено здравеопазване на Англия" (Public Health England (PHE)), отговорен за пресмятането на новите случаи на заразени от COVID-19, разкри, че близо 16 000 случая на коронавирус, установени в периода между 25 септември и 2 октомври, са останали неотчетени. Виновникът? Ограниченията за обема на данни в Microsoft Excel.

PHE използва автоматизиран процес да пренася положителните резултати за СОVID-19, установени в лабораториите, като CSV файл в шаблон на Excel, използван от електронни табла за отчети и за проследяване на контакти. За съжаление електронните таблици на Excel могат да имат максимум 1 048 576 реда и 16 384 колони на таблица. Освен това PHE е подреждала случаите в колони, а не на редове. Когато случаите са надвишили лимита от 16 384 колони, Excel отрязва долните 15 841 записа.

Този "бъг" не е попречил на хората, които са минали теста, да получат резултатите си, но е саботирал усилията за проследяване на контактите. Това е затруднило Националната здравна служба на Обединеното кралство (NHS) да идентифицира и уведоми хората, които са били в близък контакт със заразени пациенти. В изявление на 4 октомври Майкъл Броуди, временен изпълнителен директор на PHE, каза, че отделът за тестване и проследяване на NHS и PHE е прехвърлил незабавно всички непроследени случаи в системата за проследяване на контакти Test and Trace на NHS. PHE прилага "бързо разрешаване на проблема", което разделя големи файлове и извършва цялостен преглед на всички системи, за да предотврати подобни инциденти в бъдеще.

Алгоритъм за здравеопазване пропусна да отбележи цветнокожи пациенти
През 2019 г. проучване, публикувано в Science, разкри, че вероятността алгоритъм за предсказване в здравеопазването, използван от болници и застрахователни компании в САЩ за идентифициране на пациенти в нужда от програми за "управление на грижа при голям риск", да избере чернокожи пациенти е била далеч по-малка в сравнение с белите.

Програмите за управление на грижа при голям риск осигуряват квалифицирани медицински сестри и наблюдение в доболничната система на хронично болни пациенти с цел да се предотвратят сериозни усложнения. Но вероятността алгоритъмът да препоръча за тази програма бели пациенти, отколкото цветнокожи, била много по-голяма.

Проучването установи, че алгоритъмът използва разходите за здравни грижи като средство за определяне на нуждата от такива грижи на пациентите. Но според Scientific American разходите за здравни грижи на болни цветнокожи пациенти са били еднакви с разходите на по-здрави бели хора, което означава, че те са получили оценки за по-нисък риск дори когато техните нужди са били по-големи.

Изследователите предполагат, че за това има няколко вероятни причини. Първият фактор е, че е по-вероятно цветнокожите да имат по-ниски приходи дори когато са осигурени, което намалява вероятността да имат достъп до медицинска грижа. Другият фактор, поради който е възможно цветнокожите пациенти да получат по-нискокачествена грижа, е скрита предубеденост.

Въпреки че проучването не назовава името на алгоритъма или автора, изследователите казаха на Scientific American, че работят с разработчика, за да разгледат ситуацията.

Чатбот на Microsoft, обучен с набор от данни да публикува расистки туитове
През март 2016 г. Microsoft научи, че използването на взаимодействия в Twitter като учебни данни за алгоритми за машинно обучение може да има смайващи резултати.

Microsoft пусна Tay, чатбот с изкуствен интелект, на платформа на социалнa медия. Компанията описа това като експеримент в "разговорно разбиране". Идеята беше, че чатботът може да приеме персонажа на тийнейджърка и да взаимодейства с други хора в Twitter, като използва комбинация от машинно обучение и обработка на естествен език. Microsoft го захрани с анонимни публични данни и материал, написан предварително от комедианти, след което му позволи да се учи и развива от взаимодействията в социалната мрежа.

За 16 часа чатботът публикува повече от 95 000 туита и скоро се оказа, че те са откровено расистки, антисемитски и женомразки. Microsoft бързо спря услугата с претекста, че е временно и са необходими някои настройки, но в крайна сметка дръпна шалтера.

"Дълбоко съжаляваме за неволните обидни и нараняващи туитове от Tay, които не представят това, което сме ние и зад което стоим, нито как сме проектирали Tay", написа в публикация на официалния блог на Microsoft Питър Лий, корпоративен вицепрезидент на Microsoft Research & Incubations (тогава корпоративен вицепрезидент на Microsoft Healthcare), след инцидента.

Лий отбеляза, че предшественикът на Tay, Xiaoice, пуснат от Microsoft в Китай през 2014 г., е провел успешни разговори с повече от 40 милиона души за двете години преди появата на Tay. Това, което Microsoft не взе под внимание, беше, че група потребители на Twitter веднага започнаха да пишат расистки и женомразки коментари на Tay. Ботът бързо научи тези изрази и ги включи в своите собствени туитове.

"Въпреки че бяхме подготвени за много видове злоупотреби със системата, ние допуснахме критично недоглеждане на тази конкретна атака. В резултат на това Tay използва в своите туитове изключително неподходящи и осъдителни думи и изображения", писа Лий.

Инструмент на Amazon за подбор на кадри с изкуствен интелект препоръчва само мъже
Като много големи компании Amazon има нужда от инструменти, които да помогнат на отдела за човешки ресурси да проверява подадените заявления за работа и да намира най-добрите кандидати. През 2014 г. Amazon започна да работи със софтуер за подбор на кадри с изкуствен интелект по тази задача. Системата определено предпочиташе кандидати от мъжки пол. През 2018 г. Reuters разпространи новината, че Amazon се е отказала от проекта.

Системата на Amazon даваше на кандидатите оценки от 1 до 5 звезди. Но моделите за машинно обучение, заложени в ядрото й, бяха обучени от подавани в продължение на 10 години автобиографии - болшинството от тях от мъже. В резултат на тези данни за обучение системата започна да наказва фрази в автобиографиите, които включваха думата "жена" и дори даваха по-ниски оценки на кандидати от колежи само за жени.

В също време Amazon каза, че инструментът никога не е използван от тях за оценка на кандидати.

Компанията опита да редактира инструмента, за да го направи неутрален, но в крайна сметка реши, че това не може да гарантира, че няма да научи някакъв друг дискриминационен начин за подбор на кандидатите, и прекрати проекта.

Анализ на Target наруши личната тайна
През 2012 г. проект за аналитичен метод на гигантската търговска компания Target показа колко много могат да научат фирмите за клиентите от техните данни. Според New York Times през 2002 г. маркетинговият отдел на Target е започнал да се чуди как може да определи дали клиентите са бременни. Това доведе до проект за прогнозен анализ, в резултат на който компанията щеше неволно да разкрие на семейството на тийнейджърка, че тя е бременна. Това от своя страна би довело до всякакъв вид статии и маркетингови блогове, които цитират случката като част от съвет как да се избегне "зловещият фактор".

Маркетинговият отдел на Target иска да идентифицира бременните жени, тъй като в определени периоди от време - бременността на първо място сред тях - е най-вероятно хората радикално да сменят навиците си за пазаруване. Ако Target може да достигне до клиентите в този период, би могла например да култивира нови поведения в тези клиенти, като ги накара да се обърнат към Target за хранителни продукти, дрехи или други стоки.
Подобно на всички други големи търговски вериги Target събира данни за клиентите си чрез кодове за пазаруване, кредитни карти, анкети и други. Тя смесва тези данни с демографски данни и данни, купени от трети страни. Обработката на всички данни дава възможност на екипа от анализатори на Target да определи, че има около 25 продукта, продавани от Target, които могат да бъдат анализирани заедно, за да генерират резултат за "прогноза за бременност". След това маркетинговият отдел може да се насочи към клиенти с висок резултат с купони и маркетингови съобщения.

Допълнително проучване обаче разкрива, че анализът на репродуктивния статус на клиенти може да се е струвал неприятен за някои от тях. Според New York Times компанията не се отказва от своя целеви маркетинг, но започва да го смесва в реклами за неща, за които знае, че не биха се купили от бременни жени, включително реклами за косачки на трева до реклами за памперси, за да накара клиента да мисли, че рекламите са смесени на случаен принцип.

Превод и редакция Мариана Апостолова

X