Удосконалення прогнозних моделей охорони здоров’я за допомогою Generative AI
Випадкове дослідження виявлення пневмонії та визначення стадії раку
Огляд проекту
У галузі охорони здоров’я, яка швидко розвивається, використання генеративного штучного інтелекту, зокрема великих мовних моделей (LLM), для прогнозування хворобливих станів на основі клінічних звітів знаменує собою значний крок вперед. Клієнт, пілот в аналітиці здоров’я, розпочав місію вдосконалити свої моделі прогнозування захворювань. Використовуючи базу даних MIMIC CXR з відкритим вихідним кодом і включаючи генеративні прогнози штучного інтелекту для початкового аналізу з наступною перевіркою вручну за допомогою Label Studio, мета полягала в тому, щоб підвищити точність і надійність моделі для аналізу клінічних звітів, особливо радіологічних звітів.
Виклики
Інтеграція генеративних прогнозів штучного інтелекту в робочі процеси охорони здоров’я спричинила численні проблеми:
Доступ до даних і безпека
Забезпечення доступу до високоякісних наборів медичних даних із відкритим вихідним кодом, таких як MIMIC-CXR, вимагало ретельного процесу перевірки облікових даних із забезпеченням дотримання конфіденційності та етичних стандартів.
Точність прогнозу
Початкові результати генеративних моделей штучного інтелекту час від часу виявляли неточності у прогнозах захворювань, що вимагало ручних перевірок для підвищення точності.
Комплексна ідентифікація стану захворювання
Точна класифікація хворобливих станів на основі тонкої мови клінічних звітів, особливо при використанні генеративного штучного інтелекту, становила значну перешкоду.
Якість анотації
Забезпечення високоякісних і точних анотацій в інструменті Label Studio вимагало спеціальних знань і розуміння медичних захворювань.
Рішення
Шайп застосував комплексну стратегію для вирішення цих проблем:
- Оптимізована ідентифікація: Команда швидко впоралася з процесом отримання облікових даних для доступу до MIMIC-CXR, продемонструвавши ефективність і відданість етичним методам дослідження.
- Розробка настанови: Розроблено глибокі вказівки для ручних валідаторів, щоб забезпечити послідовність і якість анотування прогнозів LLM.
- Експертні анотації щодо передбачень AI: Використано ретельну ручну перевірку та виправлення прогнозів LLM за допомогою Label Studio, підкріплену медичною експертизою.
- Показники ефективності: Завдяки детальному аналізу Шайп розрахував показники ефективності LLM, такі як узгодженість, точність, запам’ятовування та оцінка F1, що забезпечило постійне вдосконалення.
Результат
- Підвищена точність у прогнозуванні захворювань на основі радіологічних звітів.
- Розробка з високоякісна наземна правда набір даних для майбутньої розробки продукту та оцінки генеративних прогнозів ШІ.
- Поліпшене розуміння ідентифікації хворобливих станів, сприяючи більш надійним прогнозам.
Випадок використання 1: Перевірка моделі машинного навчання
Сценарій: Підвищення точності прогнозування пневмонії за допомогою генеративного штучного інтелекту. У цьому випадку модель генеративного штучного інтелекту проаналізувала звіти про рентгенівські знімки грудної клітки, щоб виявити ознаки пневмонії. Звіт, у якому зазначалося «Підвищена непрозорість у правій нижній частці, що свідчить про інфекційний процес», спонукав штучний інтелект спочатку класифікувати звіт як «Невизначений» через неоднозначне формулювання.
Процес перевірки:
- Медичний експерт вивчив звіт у Label Studio, зосередившись на тексті, виділеному штучним інтелектом.
- Оцінивши клінічний контекст і застосувавши радіологічні знання, експерт перекласифікував звіт як остаточний «позитивний» щодо пневмонії.
- Ця експертна корекція була інтегрована назад у модель штучного інтелекту, що полегшує її постійне навчання та вдосконалення.
результати:
- Покращена точність моделі
- Покращення точності та запам’ятовування показників ефективності
Випадок використання 2: Створення базового набору даних
Сценарій: Створення набору даних для визначення стадії раку за допомогою TNM за допомогою генеративного штучного інтелекту
Прагнучи просувати розробку продукту прогресування раку, клієнт прагнув зібрати повний набір правдивих даних. Цей набір даних буде порівнювати навчання та оцінку нових моделей штучного інтелекту для точного прогнозування TNM стадії раку на основі клінічних наративів.
Процес створення набору даних:
- Було зібрано широкий спектр звітів, пов’язаних із раком, включаючи дані про патологію та діагностичні огляди.
- Генеруюча модель штучного інтелекту надала початкові прогнози TNM для кожного звіту, використовуючи свої вивчені шаблони та знання.
- Медичні працівники перевіряли ці прогнози, створені ШІ, на точність, виправляли помилки та доповнювали інформацію у випадках неповних або неправильних прогнозів ШІ.
результати:
- Створення високоякісного наземного набору правдивих даних.
- Основа для майбутніх продуктів для вдосконалення моделей наступного покоління діагностики та визначення стадії раку.
Співпраця з Шайпом революціонізувала наш підхід до прогнозування захворювань. Точність і надійність наших моделей значно покращилися завдяки анотаціям, виконаним фахівцями домену Shaip. Завдяки ретельному процесу перевірки.
