Перейти к содержанию / Skip to content
Мадияр Хамзановmkhamzanov
Все публикацииЛичный журнал
KaggleМедицинаComputer VisionПростыми словами

Бронза на Kaggle: как ИИ учится читать МРТ колена

438-е место из 6 299 команд в соревновании RSNA. Простыми словами: что такое МРТ для нейросети, как устроено моё решение и как ИИ-агенты разметили данные для победителей.

Бронза на Kaggle: как ИИ учится читать МРТ колена
438
место из 6 299 команд
топ-7%, бронзовая медаль
0,943
мой скор на приватном
у первого места — 0,960
12
проблем колена
ищем на каждом МРТ
$77 000
призовой фонд
RSNA и Kaggle

Коротко: бронза из 6 299 команд

Я взял бронзовую медаль на Kaggle в соревновании RSNA Knee Abnormality Detection: 438-е место из 6 299 команд. Задача — научить нейросеть смотреть МРТ колена и находить 12 проблем: разрывы связок и менисков, артроз, жидкость в суставе, переломы и так далее.

Летом я писал гайд, как залететь в соревнование OpenAI по безопасности ИИ-агентов. Там медаль я не взял. Это второе соревнование в моей жизни на Kaggle — и первая медаль.

Сертификат Kaggle: Madiyar Khamzanov, бронзовая медаль, 438-е место из 6299 команд
Сертификат Kaggle: 438-е место из 6 299 команд. Проверить на Kaggle

Ниже разбираю всё простыми словами: что такое МРТ для компьютера, как ставили оценки, как устроено моё решение и чем оно отличается от решений победителей. Картинки — из самого соревнования и из открытых разборов топовых команд.

Что за соревнование

Соревнование провели RSNA — Радиологическое общество Северной Америки и Kaggle. Шло оно с 30 июля по 22 октября 2026 года. По итоговому посту Kaggle, это самое массовое соревнование RSNA за всю историю:

25 864 регистрации
Участников
7 490
из 135 стран
до 5 человек в команде
Команд
6 300
на лидерборде 6 299
не больше 5 в день
Отправок решений
156 452
у меня было 101
22 из них в топ-100
Новичков
2 015
первое соревнование в жизни

Данные собрали 22 клиники из разных стран: Бельгия, Аргентина, Таиланд, Тайвань, Марокко, Чили, Турция, Канада, США, Германия, Греция, Монголия, Австралия и другие (описание данных). В обучающей выборке 4 407 МРТ-исследований колена. У каждого есть заключение радиолога — на разных языках, в зависимости от клиники. В тесте около 1 300 исследований, и заключений к ним уже нет: модель должна смотреть только на снимки.

Призовой фонд — $77 000. Из них $59 000 делят 10 лучших команд основного лидерборда, ещё $18 000 — трек эффективности, где оценивают и точность, и скорость. Решение сдаётся не файлом, а ноутбуком: Kaggle сам запускает твой код на скрытых данных, без интернета и максимум 9 часов на видеокарте.

Зачем это медицине: колено — самый частый сустав и на травмы, и на МРТ. Только остеоартритом, по данным организаторов, в мире страдают около 654 миллионов человек. При этом хороших скелетно-мышечных радиологов мало, особенно за пределами больших городов, и заключения разных врачей расходятся. Модель, которая стабильно находит проблемы, — это второе мнение для врача, а не замена ему.

Что искали: 12 проблем колена

Колено — это три кости: бедренная сверху, большеберцовая снизу и надколенник (коленная чашечка) спереди. Между ними — хрящ и два мениска, амортизаторы в форме полумесяца. Держат всё связки: внутри сустава крестообразные, по бокам — коллатеральные.

Схема колена сбоку: бедренная кость, надколенник, связки, мениск, большеберцовая кость
Колено сбоку. Иллюстрация BruceBlaus, CC BY 3.0, Wikimedia Commons — из официального обзора соревнования.

На каждое исследование нужно выдать 12 вероятностей: насколько модель уверена, что проблема есть. Важная деталь: размечали строго. Если радиологи сомневались, ставили «нет». Например, лёгкое растяжение связки — это «нет», считается только серьёзный разрыв.

12 находок, которые искала модель
Как метки называются в данных и что они значат по-человечески
МеткаЧто это простыми словами
ACLРазрыв передней крестообразной связки — классическая травма футболистов и лыжников
MCLСвежий серьёзный разрыв внутренней боковой связки
Medial MeniscusРазрыв внутреннего мениска
Lateral MeniscusРазрыв наружного мениска
Medial OAАртроз внутренней половины сустава: хрящ стёрт больше чем наполовину
Lateral OAТо же для наружной половины
PF OAАртроз между надколенником и бедром
EffusionМного жидкости в суставе (выпот)
SynovitisВоспаление внутренней оболочки сустава
Baker'sКиста Бейкера: мешок с жидкостью под коленом сзади
ContusionУшиб кости: отёк внутри кости без трещины
FractureСвежий перелом
Определения — из руководства для разметчиков. Каждое исследование из эталонного набора независимо размечали два радиолога, спорные случаи решал третий.

Как МРТ выглядит для компьютера

Обычный человек думает, что МРТ — это одна картинка. На самом деле одно исследование — это пачка «серий». Каждая серия — стопка тонких срезов колена, как нарезанный батон: обычно 20–45 срезов, в среднем 30. Режут в трёх плоскостях: сбоку (сагиттальная), спереди (корональная) и сверху вниз (аксиальная). В одном исследовании от 3 до 14 серий — то есть сотни картинок на одно колено.

МРТ колена сбоку в режиме, где жидкость светится белым
Срез сбоку в «жидкостном» режиме: жидкость, отёк и разрывы светятся белым. Изображение Ptrump16, CC BY-SA 4.0, Wikimedia Commons — из обзора соревнования.

Серии ещё и снимают в разных режимах. В одних жидкость светится белым — на них видно отёк, выпот и разрывы. В других лучше видна анатомия. Радиолог листает все серии и в голове собирает 3D-картинку. Модели приходится делать то же самое.

Четыре серии одного исследования: два среза сбоку и два сверху
Четыре серии одного колена: сбоку и сверху. Из разбора 5-го места.

Технически всё это лежит в формате DICOM: один файл — один срез, плюс служебные поля (толщина среза, положение в пространстве). Разные клиники, разные аппараты, разная яркость и разрешение, часть файлов сжата в JPEG Lossless и JPEG 2000. Для нейросети это первый подводный камень: если не умеешь читать какой-то формат сжатия, часть срезов молча пропадает.

Попробуйте сами: норма или разрыв

Вот примеры из руководства, по которому радиологи размечали данные. Переключайте «Норма» и «Находка» и сравните. Обратите внимание: «норма» тут часто не идеально здоровое колено, а пограничный случай, который не дотягивает до критерия. Именно на таких случаях и ошибаются модели.

Отрицательный пример разрыва передней крестообразной связки

НормаНет разрыва: связка утолщена и светится, но цела. Это дегенерация, а не разрыв — метка «нет».

Снимки — из руководства для разметчиков соревнования (Dr. Jacob Kazam), опубликованы в официальном обзоре на Kaggle.

Если вы не отличили норму от разрыва с первого раза — это нормально. Отличие часто в одном-двух срезах из сотни. Поэтому разметка медицинских данных стоит дорого: нужен узкий специалист, а лучше два.

Как ставили оценки

Метрика — средний ROC AUC по 12 находкам. Звучит страшно, но суть простая. Возьмите случайного пациента с разрывом и случайного без. AUC — это вероятность, что модель поставит больному оценку выше, чем здоровому. 0,5 — подбрасывание монетки, 1,0 — идеально. AUC считают для каждой из 12 находок и усредняют.

Важное следствие: AUC не волнуют сами вероятности, только порядок. Если модель всем больным ставит 0,51, а всем здоровым 0,49, это идеальный AUC = 1,0. Это пригодится дальше, когда буду объяснять смешивание моделей.

во время
Публичный лидерборд
Часть теста, по которой ты видишь свой скор сразу. На нём легко подогнать решение под шум.
финал
Приватный лидерборд
Другая, скрытая часть теста. Открывается после дедлайна — по ней и раздают медали.
лимит
9 часов на GPU
Ноутбук должен обработать ~1 300 исследований на двух Tesla T4 и уложиться в 9 часов.
правило
Без интернета
Всё, что нужно модели, — веса, библиотеки, декодеры — надо заранее загрузить как датасет.
Медали на Kaggle выдают по месту, а не по скору. При 1000+ командах бронза — это топ-10%, серебро — топ-5%, золото — примерно топ-0,2% плюс 10 мест. Здесь это значило: бронза до 629-го места, серебро до 314-го, золото — топ-22.

Главная загвоздка: 58 ответов на 4 407

Вот что делает это соревнование необычным. Из 4 407 обучающих исследований правильные ответы (12 меток от радиологов) есть только у 58. У остальных 4 349 — только текст заключения: «ACL разорвана», «умеренный выпот», «мениск без особенностей». На восьми с лишним языках и в стиле конкретной клиники.

Значит, сначала надо самим превратить заключения в метки. Почти все сильные команды делали это большими языковыми моделями: GPT, Claude, Gemini, DeepSeek читали текст и выставляли 12 вероятностей. Ещё в начале соревнования участники выложили такие таблицы в открытый доступ (stevenleehans, pilkwang). А топы пошли дальше и дали моделям смотреть ещё и сами снимки.

Почему не хватает одного текста? Как заметили в 5-м месте: «не упомянуто» — это не «нет». В одной из публичных таблиц на 27% пар «исследование — находка» ответа не было вовсе, а для синовита — на 84%. К тому же врач пишет «небольшой выпот», а по правилам соревнования считается только умеренный или большой.

Мозаика из 32 срезов МРТ и схема разметки нейросетью; справа сравнение моделей
Так команда Криса Деотта давала модели одну «мозаику» из 32 срезов плюс заключение и получала 12 вероятностей. Справа — сравнение моделей. Из разбора 235-го места.
ИИ как разметчик

Насколько хорошо нейросети «ставят диагноз»

Средний AUC на 58 исследованиях с ответами радиологов. Модель видит мозаику из 32 срезов и текст заключения

¹ — только текст заключения, без снимков. ² — только снимки, без заключения. Замеры команды Криса Деотта (235-е место, серебро), их разбор на Kaggle.

Самое интересное на графике — правые столбики. Та же Gemini, которой показали только снимки без заключения, падает с 0,92 до 0,75. Читать текст языковые модели уже умеют отлично, а вот смотреть МРТ сами — пока заметно хуже. Поэтому лучший рецепт — текст плюс снимки, а потом ещё отдельная нейросеть, обученная именно на картинках.

На тесте заключений нет. Поэтому языковая модель тут — не решение, а учитель: она размечает обучающие данные, а на них учится обычная «глазастая» нейросеть, которая потом работает только по снимкам.

Как устроено моё решение

Мой финальный ноутбук rsna-b1-ctrl — это конвейер из двух разных моделей, которые смотрят на колено по-разному, а в конце их ответы смешиваются.

Скажу прямо: эти модели я не обучал. Код и веса выложили в открытый доступ другие участники — их имена в таблице ниже, а за основу я взял публичный ноутбук heliosli. Правила это прямо разрешают: открытые данные и предобученные модели — можно. Моя часть — собрать конвейер, который стабильно проходит 9 часов на скрытых данных, поставить декодеры, проверки и ничего не сломать. Ровно про это я писал в статье «Своя модель — это миф»: на открытых весах сегодня собирается очень многое.
1
Читаем все снимки
Ставлю декодеры JPEG Lossless и JPEG 2000 из офлайн-пакетов. Без них сжатые срезы молча выпадают. Если декодер не встал — ноутбук останавливается.
2
Модель 1: «Raptor»
CoAtNet — гибрид свёрточной сети и трансформера. Смотрит на 94 среза в разрешении 384 и сама выбирает, какие важны. Обучена с внешними данными OAI.
3
Модель 2: «R7»
Четыре ConvNeXt-small, каждая обучена на своей части данных. Сначала находит сустав и вырезает его покрупнее. Для выпота и кисты Бейкера — отдельные досчёты.
4
Смешиваем по местам
Каждая модель выстраивает пациентов в очередь по каждой находке. Берём среднее место: 50% Raptor + 50% R7. Веса заданы заранее, на тесте не подбираются.
5
Проверяем перед отправкой
12 колонок, порядок строк как в тесте, значения от 0 до 1, без пустых и одинаковых колонок. Хэши весов сверяются, чтобы не подхватить чужой файл.

Модель 1, Raptor. Внутри — CoAtNet: первые слои работают как классическая свёрточная сеть (ищут края, текстуры, пятна), дальше идёт трансформер — та же технология, что внутри ChatGPT, только для картинок. Хитрость в обучении по принципу multiple instance learning. У нас есть ответ на всё исследование («разрыв есть»), но не сказано, на каком из сотни срезов он виден. Модель сама учится находить срезы-подозреваемые. Веса усреднены по нескольким моментам обучения (SWA): как спросить одного врача утром, днём и вечером и взять среднее. При запуске модель смотрит и на снимок, и на его зеркальную копию.

Raptor обучали не только на данных соревнования, но и на открытом датасете Osteoarthritis Initiative от Национальных институтов здоровья США — тысячи МРТ коленей с артрозом. Метки для 4 349 исследований без ответов взяли из нескольких открытых таблиц, которые участники получили языковыми моделями.

Модель 2, R7. Четыре сети ConvNeXt, каждая обучена на своих трёх четвертях данных: коллектив из четырёх «врачей» вместо одного. Сначала находит центр сустава и вырезает квадрат вокруг него, чтобы мелкие разрывы не терялись на большом снимке. При обучении ей помогал открытый датасет fastMRI от NYU и Meta. Для выпота отдельно оценивается объём жидкости, для кисты Бейкера — свой маленький досчёт. R7 работает сразу на двух видеокартах.

Из чего собрано решение и кто это сделал
Всё открыто на Kaggle — ссылки ниже в разделе «Код и ссылки»
КомпонентЧто этоАвтор
Базовый ноутбукКонвейер Raptor + R7 со смешиванием 50/50heliosli
Raptor: рецептCoAtNet + multiple instance learningdreaddevelopment
Raptor: весаДообучение на всех данных + OAI, усреднение SWAnartaa
R74 × ConvNeXt-small, кроп сустава, fastMRI, досчёты выпота и кистыheliosli
Метки из заключенийТаблицы 12 вероятностей от языковых моделейstevenleehans, pilkwang, riadmohamed42
Декодеры JPEGОфлайн-пакеты pylibjpeg / openjpeggoodpjw2008
Сборка и проверкиДекодеры во все этапы, остановка при любом сбое, финальные проверкия
Список авторов — из шапки моего ноутбука на Kaggle, там же ссылки на каждый датасет.

Почему смешиваем места, а не вероятности. Помните, AUC важен только порядок? Raptor может быть уверен во всём на 0,9, а R7 осторожничать на 0,3 — если смешать вероятности, одна модель задавит другую. Поэтому каждая модель выстраивает пациентов в очередь от «точно есть» до «точно нет», и мы берём среднее место в очереди. Я специально не подбирал веса под публичный лидерборд — 50/50 и всё.

Где я среди 6 299 команд

Финал: 438-е место, скор 0,943 на приватной части. На публичной было 0,958 и 343-е место — после дедлайна я съехал на 95 позиций вниз. Посмотрите на распределение: огромный столб на 0,942.

Финальный лидерборд

Как распределились 6 299 команд

Сколько команд набрали каждый скор на приватной части теста

Жёлтым — «стена» 0,942: на ней стоят 1 297 команд, в основном с публичными ноутбуками. Оранжевым — 0,943, где оказался я. Данные: официальный лидерборд Kaggle, Kaggle показывает скор с тремя знаками после запятой.

Это 1 297 команд с одинаковым до третьего знака скором. В основном это люди, которые отправили сильный публичный ноутбук почти как есть. Граница бронзы прошла ровно через эту стену: 629-е место — ещё 0,942 с медалью, 630-е — тоже 0,942, но уже без неё. Решали десятитысячные доли. По пятизначным оценкам из официального ноутбука Kaggle, я был выше границы бронзы примерно на 0,0003, а до серебра не хватило около 0,0005.

Где проходили границы
Приватный лидерборд, 6 299 команд
ЗонаМестаСкор
1-е место — Team Kangaroo10,960
Золото1–220,954 и выше
Серебро23–3140,943–0,954
Бронза315–6290,942–0,943
Я4380,943
Половина всех команддо 3 1500,925 и выше
Уровень монетки219 команд0,500 и ниже
Источник — лидерборд соревнования. Медалей всего 629: 22 золотых, 292 серебряных, 315 бронзовых.

Отдельная история — тряска лидерборда. Команда Barry была №1 на публичной части с 0,970 и финишировала 7-й. Team Kangaroo шла 4-й и стала первой. Публичный лидерборд — это всего лишь часть теста, и подгонка под него наказывается. Поэтому я и не трогал веса смешивания.

Честный вывод для себя: бронза тут — это «аккуратно собрал сильное открытое решение и ничего не сломал». Медаль я взял не архитектурой, а инженерией: все этапы стабильно отработали на ~1 300 скрытых исследованиях за 6,3 часа из 9 положенных.

Как решали победители

Самое ценное на Kaggle — разборы решений, которые топы публикуют после финала. Я прочитал разборы 1-го, 5-го, 7-го и 235-го мест. Общее у всех одно: они выиграли разметкой, а не хитрой архитектурой.

1-е место: соревнование по разметке

Team Kangaroo (tascj и liushuzhi) прямо пишут в своём разборе, что относились к задаче как к соревнованию по разметке. На каждое из 4 407 исследований запускали отдельного ИИ-агента в командной строке: Codex, Claude Code. Агенту давали папку со срезами в PNG, заключение и инструменты «приблизить срез» и «найти ту же точку на другой серии». Агент сначала выписывает улики из текста и из снимков, а уже потом ставит вероятность. В среднем одно исследование — 2,5 минуты и 15 просмотренных картинок.

Схема: агент размечает эталонный случай, видит правильный ответ, переписывает заметки и в конце пишет руководство
«Обученное руководство»: агент размечает эталонный случай, видит ответ радиологов, переписывает заметки, а после N случаев пишет руководство для разметки остальных. Из разбора 1-го места.

Качество такой разметки на 58 эталонных исследованиях росло от 0,904 до 0,943 AUC, в зависимости от модели и инструкции. Но этим не ограничились. Агенты ещё нарисовали рамки: где на каждой серии лежит нужная анатомия (751 исследование) и где именно видна проблема — 1 800 исследований, 3 616 поражений, 111 029 рамок. Вручную это месяцы работы радиолога.

Стопка срезов МРТ с 3D-рамками вокруг мениска и боковой связки
3D-рамки «где искать»: срезы 5–18 — наружный мениск, 20–32 — боковая связка. Разметили ИИ-агенты. Из разбора 1-го места.
Рамки областей интереса на трёх плоскостях МРТ
Те же рамки в трёх плоскостях: каждая находка получает свою область.
Рамки вокруг ушибов кости и разрыва связки на четырёх срезах
Рамки самих поражений на четырёх срезах: ушибы кости и разрыв крестообразной связки.

Дальше простая и красивая модель. Отдельный детектор на тесте находит рамки для каждой из 12 находок. Основная сеть ConvNeXt-T смотрит на каждый срез, и каждая находка «смотрит» только внутрь своей рамки: мениск — в мениск, связка — в связку. Во время обучения у сети две дополнительные задачи: угадать рамки поражений и угадать смысл заключения радиолога. На тесте их нет, но они учат сеть смотреть куда надо.

Схема модели первого места: сторона колена, детектор рамок, кроп, ConvNeXt, пулинг по рамкам
Модель 1-го места. Сплошные стрелки — работа на тесте, пунктир — подсказки только для обучения. Из разбора.
Я сам не до конца понимаю каждую деталь пайплайна, особенно как рамки используются в обучении. Чаще всего я просил Claude Opus 5.5 примерно так: «у нас есть такие разметки, предложи несколько подходов и запусти эксперименты» — и прирост шёл оттуда.
tascj, 1-е место, Team Kangaroo

5-е, 7-е и 235-е места

5-е место (RB, Matheus, Tucker, Tony): Claude Opus 5.5 перечитала все заключения, GPT-6.1 смотрела по 10 срезов на выпот, синовит и кисту, а метки откалибровали по 58 эталонным. Отдельная модель сегментирует кости и вырезает четыре зоны: внутренний и наружный отделы, надколенник и межмыщелковую ямку — с разрешением до двух раз выше, чем на целом снимке.

3D-модель костей колена: бедренная, большеберцовая и надколенник
Кости колена, найденные сегментацией.
Четыре зоны вырезки вокруг сустава: внутренний отдел, наружный, надколенник, межмыщелковая ямка
Четыре зоны, которые модель смотрит отдельно. Из разбора 5-го места.

7-е место — Barry, №1 публичного лидерборда: одна архитектура 2.5D-сети в четырёх вариантах и никаких внешних данных, только данные соревнования. Весь прирост — от меток: GPT-6 читала заключение вместе со снимками тремя разными промптами, включая «заключение — черновик, проверь каждую находку по снимкам». А 235-е место (серебро) — команда грандмастера Криса Деотта, где ИИ-агент Gemini был полноценным участником команды и сам написал разбор от первого лица. Их лучший результат — смесь своей модели с публичным ноутбуком heliosli, того же автора, на чьём ноутбуке стоит и моё решение.

Обзор решения седьмого места: метки, модель, ансамбль
Решение 7-го места на одной схеме: три чтения GPT-6, одна сеть, ансамбль из четырёх. Из разбора.
Топы и я: в чём разница
Приватный скор, по разборам команд
МестоОткуда меткиМодельСкор
1 · Team KangarooИИ-агенты смотрят снимки и заключение, рисуют рамкиConvNeXt-T + пулинг по рамкам, ансамбль0,960
5 · RB, Matheus, Tucker, TonyClaude читает заключения, GPT смотрит срезы, калибровкаEfficientNetV2 + ConvNeXt, зоны по костям0,958
7 · BarryGPT-6: заключение + снимки, три промптаОдна 2.5D-архитектура × 4, без внешних данных0,957
235 · Chris Deotte + GeminiGemini, GPT, Claude по мозаике из 32 срезовCoAtNet + смесь с публичным ноутбукомсеребро
438 · яГотовые открытые таблицы метокRaptor + R7, смешивание по местам0,943
Разница между мной и первым местом — 0,017 AUC. На таких высоких значениях каждая тысячная даётся тяжело: от 0,943 до 0,960 — это путь от 438-го места до 1-го.

Что я из этого вынес

Данные важнее архитектуры
58 размеченных из 4 407. Все топы выиграли за счёт меток, а модели у них простые — ConvNeXt-T и EfficientNet.
ИИ — новый разметчик
Языковые модели прочитали тысячи заключений на 8+ языках, а агенты сами листали МРТ и рисовали рамки.
Открытый код поднимает всех
1 297 команд на отметке 0,942. Хорошее решение сегодня собирается из открытых частей — если в них разобраться.
Публичный лидерборд врёт
№1 публичного стал 7-м. Я съехал с 343-го на 438-е. Не подгоняй под то, что видишь.

Для меня главное открытие — роль ИИ-агентов. Ещё пару лет назад разметить 4 000 МРТ мог только живой радиолог за месяцы. В этом соревновании агенты Codex и Claude тратили по 2,5 минуты на исследование и справились достаточно хорошо, чтобы обучить модель уровня 0,96 AUC. Победитель честно пишет, что многое в пайплайне придумал не сам, а попросил Claude предложить и проверить подходы. Это новая норма работы в Data Science.

Для Казахстана это тоже про нас. Хороших скелетно-мышечных радиологов мало и в Алматы, а в районах их нет почти совсем. Модель, которая на МРТ подсвечивает «здесь похоже на разрыв мениска, посмотри срезы 14–17», — это не замена врачу, а второе мнение и экономия времени. И, как показало это соревнование, собрать такую модель сегодня может небольшая команда с открытым кодом и ИИ-агентами.

Медаль на Kaggle сегодня берут не тем, что придумал самую умную сеть, а тем, что лучше всех разметил данные и ничего не сломал по дороге.
Мадияр Хамзанов
Если хотите попробовать Kaggle сами — начните с моего гайда для новичков: что такое ноутбуки, дискуссии, медали и как подключить Kaggle к Claude Code. А потом откройте публичный ноутбук в любом медицинском соревновании и попробуйте понять каждую ячейку — так я и учился.

Код и ссылки

Мой ноутбук с описанием и ссылками на все использованные датасеты выложил в репозиторий github.com/mkhamzanov/competitions. Там же README со схемой конвейера и благодарностями авторам.

Спасибо RSNA, радиологам-разметчикам и всем, кто делился кодом на форуме. Без открытых ноутбуков этой медали бы не было — и я считаю, что это нормально, если честно об этом говорить.