Упередженість у ШІ

Визначення

Упередженість у ШІ стосується систематичних помилок у результатах ШІ, спричинених перекрученими даними, недосконалим дизайном або суспільною нерівністю, відображеною в наборах даних. Це може призвести до несправедливих або дискримінаційних результатів.

Мета

Мета вивчення упередженості полягає у виявленні та пом'якшенні несправедливості в системах штучного інтелекту. Організації прагнуть побудувати більш справедливі моделі, вирішуючи ці проблеми.

Значення

• Призводить до дискримінації при наймі, кредитуванні або охороні здоров'я, якщо її не вирішувати.
• Підриває довіру до систем штучного інтелекту.
• Вимагає дотримання нормативних вимог у чутливих галузях промисловості.
• Пов’язано зі справедливістю та відповідальною практикою використання штучного інтелекту.

Як це працює

1. Визначте потенційні джерела упередженості (збір даних, маркування, моделювання).
2. Проаналізуйте набори даних на наявність дисбалансу.
3. Застосовуйте методи навчання, що усвідомлюють справедливість.
4. Тестування результатів з показниками справедливості.
5. За потреби скоригуйте дизайн та перенавчіть.

Приклади (реальний світ)

• Інструмент оцінки ризиків COMPAS: критикують за расову упередженість.
• Алгоритм найму на Amazon: відхилено через гендерну упередженість.
• Розпізнавання облич: відомо, що неправильно класифікує певні демографічні групи.

Література / Додаткова література

• Упередженість штучного інтелекту — NIST.
• Справедливість і машинне навчання — Барокас, Хардт і Нараянан (книга).
• Алгоритмічне зміщення — Матеріали конференції ACM FAccT.
• Різноманітні дані для навчання ШІ: ключ до усунення упередженості