Улучшение обнаружения поражений головного мозга с помощью МРТ с помощью глубокого обучения и радиологических отчетов

МРТ-сканирование мозга необходимо для диагностики широкого спектра неврологических заболеваний. Однако анализ этих изображений требует значительных знаний, и даже опытные рентгенологи могут столкнуться с трудностями при обнаружении едва заметных поражений из-за сложности структур мозга. Эта сложность побудила интегрировать модели глубокого обучения (DL) для помощи в обнаружении поражений. Недавнее исследование, рассмотренное в Radiology, продвинуло эти достижения дальше, включив текстовые данные из отчетов рентгенологов в модели DL для повышения точности и интерпретируемости обнаружения поражений мозга с помощью МРТ.

Роль отчетов рентгенологов в улучшении обнаружения поражений

Одним из основных нововведений исследования является интеграция отчетов радиологии в модели глубокого обучения. Отчеты радиологии предлагают подробные описания характеристик поражений, таких как размер, местоположение и интенсивность сигнала, которые не всегда легко обнаружить при сканировании МРТ. Эти отчеты отражают экспертные знания, что делает их ценным источником слабых аннотаций для руководства системами ИИ.

В исследовании модель DL «ReportGuidedNet» обучалась с использованием текстовых признаков, извлеченных из отчетов рентгенологии, чтобы направить ее внимание на характеристики поражений мозга. Такой подход устраняет необходимость в ручной сегментации изображений, которая может быть трудоемкой и непоследовательной. Используя отчеты рентгенологии, модель может сосредоточиться на критических областях на изображениях МРТ, тем самым повышая точность обнаружения поражений. Исследование показало, что эта интеграция превзошла модели, обученные исключительно на данных изображений, что указывает на потенциал мультимодальных подходов, объединяющих визуальную и текстовую информацию.

Сравнительная производительность ReportGuidedNet и PlainNet

В исследовании сравнивалась производительность двух моделей: ReportGuidedNet, которая включала текстовые признаки из отчетов по радиологии, и PlainNet, которая опиралась исключительно на данные изображений. Результаты показали, что ReportGuidedNet последовательно превосходила PlainNet по нескольким диагностическим категориям. Площадь под кривой рабочей характеристики приемника (AUC) для ReportGuidedNet была значительно выше во внутренних и внешних тестовых наборах данных. Это улучшение было особенно заметно во внешнем наборе данных, где разница в производительности между двумя моделями была более выраженной.

Способность ReportGuidedNet обобщать различные наборы данных предполагает, что включение отчетов по радиологии повышает надежность модели. В отличие от PlainNet, которая боролась с различиями в условиях визуализации в разных центрах, ReportGuidedNet поддерживала стабильную производительность. Эта надежность имеет важное значение в клинических условиях, где протоколы получения МРТ и параметры сканера могут сильно различаться.

Интерпретируемость и клиническая полезность карт внимания

Другим важным аспектом исследования было внимание к интерпретируемости модели. Основной проблемой в глубоком обучении для медицинской визуализации является природа моделей как «черного ящика», когда трудно понять, как модель приходит к своим прогнозам. Чтобы решить эту проблему, авторы включили карты внимания в ReportGuidedNet. Эти карты выделяют области сканирования МРТ, на которых модель фокусировалась при составлении своих прогнозов, предоставляя рентгенологам интерпретируемые визуальные подсказки.

Исследование показало, что карты внимания, созданные ReportGuidedNet, были более точными и клинически значимыми, чем карты, созданные PlainNet. В частности, ReportGuidedNet лучше локализовал поражения, даже если они были небольшими или едва заметными. Эта улучшенная локализация может помочь рентгенологам в постановке более точных диагнозов и снижает риск пропуска поражений. Карты внимания предлагают дополнительный уровень прозрачности, позволяя рентгенологам проверять прогнозы модели и включать свои экспертные суждения в окончательный диагноз.

Интеграция текстовых признаков, полученных из отчетов по радиологии, в модели глубокого обучения значительно улучшает обнаружение поражений мозга при МРТ. Исследование показало, что ReportGuidedNet, который использует как изображения, так и текстовые данные, превзошел традиционные модели, полагающиеся исключительно на изображения. Этот мультимодальный подход повышает точность диагностики и улучшает интерпретируемость решений модели, делая ее ценным инструментом для рентгенологов. Такие инновации, вероятно, будут играть все более важную роль в медицинской визуализации, приводя к более точным, эффективным и интерпретируемым диагностическим системам.

Источник: Radiology