Transpara 1.4.0

Продолжаю тему, которую я начал в посте В помощь врачу и которой я касался в еще нескольких статьях о перспективах развития цифровой медицины, которая соединит в себе принципы прецизионной медицины, телемедицины, доступности распределенных баз данных и искусственного интеллекта.

Сегодня у нас – результаты сравнительного исследования одной программы искусственного интеллекта Transpara 1.4.0 от голландской компании Screenpoint Medical BV против 101 радиолога, специализирующихся на маммографии.

Transpara 1.4.0 предназначена для изучения снимков цифровой маммографии и цифрового томосинтеза (это трехмерная маммография, при которой рентгеновская трубка вращается по дуге вокруг пациента и делает серию снимков) и поиска на них признаков рака молочной железы: включая как мягкие очаги, так и кальцификаты.

Исследователи из нескольких голландских, швейцарских, немецких, итальянских, испанских, английских и шведских медицинских и научных учреждений, список которых есть под катом, собрали 28,296 цифровых снимков маммографии и томосинтеза, ранее оцененных профессиональными радиологами в рамках предыдущих клинических исследований.

Список центров
  • Department of Radiology and Nuclear Medicine, Radboud University Medical Center, Nijmegen, the Netherlands (ARR, RMM, IS);
  • Institute for Biomedical Engineering, ETH Zurich, Zurich, Switzerland (KL);
  • ScreenPoint Medical BV, Nijmegen, the Netherlands (TT, AGM);
  • Department for Health Evidence, Radboud University Medical Center, Nijmegen, the Netherlands (MB);
  • Dutch Expert Centre for Screening (LRCB), Wijchenseweg, Nijmegen, the Netherlands (MB, IS);
  • Veneto Institute of Oncology (IOV)–IRCCS, Padua, Italy (GG);
  • Department of Biomedical Imaging and Image-Guided Therapy, Division of Molecular and Gender Imaging, Medical University of Vienna, Vienna, Austria (PC, THH);
  • Medical Physics Group, Radiology Department, Faculty of Medicine, Universidad Complutense de Madrid, Madrid, Spain (MC);
  • Siemens Healthcare GmbH, Diagnostic Imaging, X-Ray ProductsTechnology & Concepts, Forchheim, Germany (TM);
  • Cambridge Breast Unit and NIHR Biomedical Research Unit, Cambridge University Hospitals NHS Foundation Trust, Cambridge Biomedical Campus, Cambridge, UK (MGW);
  • Unilabs Breast Center, Skane University Hospital, Malmo, Sweden (IA);
  • Diagnostic Radiology, Department of Translational Medicine, Lund University, Skane University Hospital, Malmo, Sweden (SZ).

Эти снимки отражают 2,652 реальных пациента, включая 653 случая подтвержденного рака молочной железы, 768 доброкачественных образований и 1,233 пациента с нормальными результатами.

Вот список исследований, из которых авторы взяли эти  клинические случаи и снимки –

Обучение

Первый этап работы ИИ – это обучение, во время которого программа учится находить корреляции и делать правильные выводы. Авторы натренировали Transpara 1.4.0 на анализе 9,000 снимков, содержащих признаки опухоли (в том числе треть с кальцификатами) и на 180,000 снимков нормальной ткани.

Соревнование

На момент начала исследования у авторов было три компонента:

  • Сами снимки
  • Заключения настоящих радиологов по этим снимкам
  • Знание реальности, то есть на самом деле случилось с этими пациентами

В эксперимент отбирали снимки только тех пациентов, дальнейшая судьба которых была известна.  Это включало гистологическое заключение и просто знание того, что было с этим пациентом как минимум через год после того, как был сделан снимок.

Иными словами, у авторов была «страничка с правильными ответами», и целью исследования была узнать сможет ли искусственный интеллект угадать содержание этой «странички».

Критерий эффективности

Точность предсказания радиологов и ИИ исследователи оценивали по значению площади под ROC-кривой (Receiver Operating Characteristic). Как я уже рассказывал в статье Радиомикс: иммунный предсказатель, на этих графиках по оси абсцисс расположена доля ложных предсказаний (это когда предсказание совпадает, но наоборот: каждый раз, когда ты утверждаешь, что будет солнце – идет дождь), по оси ординат – доля верных предсказаний, а биссектриса (значение 0.500) – это уровень, демонстрирующий, что механизм предсказаний не работает. Чем больше площадь под кривой в зоне верных предсказаний – тем надежнее работает метод.

Что получилось?

Значение площади под кривой (AUC) искусственного интеллекта составило 0.840 (при максимуме + 1.000). Средняя эффективность 101 радиолога составила 0.814. Статистически значимой разницы между человеком и машиной не было.

Что это значит? Что одна программа по эффективности не уступает (и даже незначительно превышает) сотне дипломированных специалистов в такой важной и не терпящей ошибок сфере, как скрининг опухолевых заболеваний.

Справедливости ради нужно отметить, что в каждом наборе проанализированных данных эффективность ИИ была выше средней эффективности участвовавших радиологов, но всякий раз уступала эффективности лучшего из живых специалистов. Так что программе есть куда расти.

Шахматным программам, вон, уже полвека, и, я думаю, многие помнят те времена, когда гроссмейстеры играли с ними на равных. А в позапрошлом году появился монстр искусственного интеллекта AlphaZero, который играет на «сверхчеловеческом» уровне и уверенно обыгрывает все существующие шахматные программы и всех существующих гроссмейстеров.

Нет оснований сомневаться, что такой же прогресс в обозримом будущем ожидает и медицину. Так что мы еще к этой теме вернемся.


Показалось интересным или полезным — подпишитесь на анонсы новых статей в наших пабликах ВКонтакте и Фейсбуке.

Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Sorry that something went wrong, repeat again!