Transpara 1.4.0

Продолжаю тему, которую я начал в посте В помощь врачу и которой я касался в еще нескольких статьях о перспективах развития цифровой медицины, которая соединит в себе принципы прецизионной медицины, телемедицины, доступности распределенных баз данных и искусственного интеллекта.

Сегодня у нас – результаты сравнительного исследования одной программы искусственного интеллекта Transpara 1.4.0 от голландской компании Screenpoint Medical BV против 101 радиолога, специализирующихся на маммографии.

Transpara 1.4.0 предназначена для изучения снимков цифровой маммографии и цифрового томосинтеза (это трехмерная маммография, при которой рентгеновская трубка вращается по дуге вокруг пациента и делает серию снимков) и поиска на них признаков рака молочной железы: включая как мягкие очаги, так и кальцификаты.

Исследователи из нескольких голландских, швейцарских, немецких, итальянских, испанских, английских и шведских медицинских и научных учреждений, список которых есть под катом, собрали 28,296 цифровых снимков маммографии и томосинтеза, ранее оцененных профессиональными радиологами в рамках предыдущих клинических исследований.

Список центров

Эти снимки отражают 2,652 реальных пациента, включая 653 случая подтвержденного рака молочной железы, 768 доброкачественных образований и 1,233 пациента с нормальными результатами.

Вот список исследований, из которых авторы взяли эти  клинические случаи и снимки –

Обучение

Первый этап работы ИИ – это обучение, во время которого программа учится находить корреляции и делать правильные выводы. Авторы натренировали Transpara 1.4.0 на анализе 9,000 снимков, содержащих признаки опухоли (в том числе треть с кальцификатами) и на 180,000 снимков нормальной ткани.

Соревнование

На момент начала исследования у авторов было три компонента:

  • Сами снимки
  • Заключения настоящих радиологов по этим снимкам
  • Знание реальности, то есть на самом деле случилось с этими пациентами

В эксперимент отбирали снимки только тех пациентов, дальнейшая судьба которых была известна.  Это включало гистологическое заключение и просто знание того, что было с этим пациентом как минимум через год после того, как был сделан снимок.

Иными словами, у авторов была «страничка с правильными ответами», и целью исследования была узнать сможет ли искусственный интеллект угадать содержание этой «странички».

Критерий эффективности

Точность предсказания радиологов и ИИ исследователи оценивали по значению площади под ROC-кривой (Receiver Operating Characteristic). Как я уже рассказывал в статье Радиомикс: иммунный предсказатель, на этих графиках по оси абсцисс расположена доля ложных предсказаний (это когда предсказание совпадает, но наоборот: каждый раз, когда ты утверждаешь, что будет солнце – идет дождь), по оси ординат – доля верных предсказаний, а биссектриса (значение 0.500) – это уровень, демонстрирующий, что механизм предсказаний не работает. Чем больше площадь под кривой в зоне верных предсказаний – тем надежнее работает метод.

Что получилось?

Значение площади под кривой (AUC) искусственного интеллекта составило 0.840 (при максимуме + 1.000). Средняя эффективность 101 радиолога составила 0.814. Статистически значимой разницы между человеком и машиной не было.

Что это значит? Что одна программа по эффективности не уступает (и даже незначительно превышает) сотне дипломированных специалистов в такой важной и не терпящей ошибок сфере, как скрининг опухолевых заболеваний.

Справедливости ради нужно отметить, что в каждом наборе проанализированных данных эффективность ИИ была выше средней эффективности участвовавших радиологов, но всякий раз уступала эффективности лучшего из живых специалистов. Так что программе есть куда расти.

Шахматным программам, вон, уже полвека, и, я думаю, многие помнят те времена, когда гроссмейстеры играли с ними на равных. А в позапрошлом году появился монстр искусственного интеллекта AlphaZero, который играет на «сверхчеловеческом» уровне и уверенно обыгрывает все существующие шахматные программы и всех существующих гроссмейстеров.

Нет оснований сомневаться, что такой же прогресс в обозримом будущем ожидает и медицину. Так что мы еще к этой теме вернемся.


Показалось интересным или полезным — подпишитесь на анонсы новых статей в наших пабликах ВКонтакте и Фейсбуке.

Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Sorry that something went wrong, repeat again!