MIT'nin FleXray modeli röntgende 60 anatomik yapıyı ayrı ayrı işaretliyor

MIT CSAIL, Massachusetts General Hospital'daki Martinos Merkezi ve Harvard Tıp Fakültesi'nden araştırmacılar, röntgen görüntülerinde anatomik yapıları otomatik olarak ayıran FleXray modelini yayımladı. Model, vücudun farklı bölgelerinden, farklı açılardan ve farklı cihazlarla çekilmiş röntgenlerde 60 anatomik yapıyı tek tek işaretleyebiliyor. Kod, model dosyaları ve eğitim verisi herkese açık.

Neden zor bir iş

Proje sayfasına göre dünyada her yıl 2,3 milyardan fazla röntgen çekiliyor, ama röntgenlerde organların sınırlarını piksel piksel gösteren etiketli veri çok az. Röntgen, üç boyutlu vücudu tek bir iki boyutlu görüntüye sıkıştırdığı için organlar üst üste biniyor, sınırlar kayboluyor ve aynı bölge farklı açılardan çok farklı görünüyor. Bu yüzden şimdiye kadarki modeller genellikle yalnız belli bir bölge ya da çekim açısı için eğitiliyordu.

Nasıl eğitildi

Araştırmacılar bu veri eksikliğini tomografi (BT) taramalarıyla aştı. Organları zaten etiketlenmiş üç boyutlu BT görüntülerinden, her eğitim adımında farklı açıdan bakan sentetik röntgenler üretildi. Böylece tek bir hastanın taraması, birbirinden farklı sayısız röntgen ve kusursuz hizalanmış etiket çiftine dönüştü. Bu sentetik görüntüler gerçek röntgene göre fazla temiz göründüğü için ekip, Black Forest Labs'in FLUX.2 görüntü düzenleme modeliyle bunlara gerçek çekimlerdeki gren, pozlama farkları ve üzerine basılmış yazılar gibi ayrıntıları ekledi. Anatomi bu sırada değişmedi. Eğitime gerçek röntgenler de katıldı.

Sonuçlar

Makaleye göre FleXray, eğitimde hiç görmediği sekiz gerçek röntgen veri setinde denendi: el ve bilek, dirsek, bacak, kalça, omurga, kaburga, yetişkin ve çocuk göğsü. Karşılaştırılan genel amaçlı modellerin önüne geçti ve yalnız o veri setiyle özel olarak eğitilmiş modellere yaklaştı. Araştırmacılar modeli üç ek işte de denedi:

• Skolyoz ölçümü: Omurga eğriliğini gösteren Cobb açısını, bu iş için ayrıca eğitilmeden hesapladı. Makaleye göre hatası, iki farklı hekimin aynı röntgende ölçtüğü değerler arasındaki farktan daha düşük kaldı.
• Ameliyatta görüntü eşleme: Ameliyat öncesi çekilen BT ile ameliyat sırasındaki canlı röntgeni hizalama işinde başarısız deneme oranını belirgin şekilde düşürdü.
• Az veriyle yeni işler: Çocuklarda kalça displazisi ve kemik tümörleri gibi yeni hedeflere az sayıda etiketli örnekle uyarlanabildi.

Nasıl denenir

FleXray'in proje sayfasındaki demoda bir röntgen yüklenerek model doğrudan tarayıcıda çalıştırılabiliyor. Proje sayfasına göre görüntü bilgisayardan dışarı gönderilmiyor. Model Python paketi olarak da kurulabiliyor, kod GitHub'da, model dosyaları ve eğitim verisi Hugging Face'te. Ekip modeli yapay zeka asistanlarına bağlamak için bir MCP sunucusu da hazırladı.

Çalışmanın arkasında MIT'den Victor Ion Butoi, Vivek Gopalakrishnan, John Guttag, Adrian Dalca ve Neel Dey var. Araştırmacılar demonun bir araştırma aracı olduğunu, tıbbi cihaz sayılmadığını ve teşhis için kullanılmaması gerektiğini özellikle belirtiyor. Kod MIT lisanslı, model dosyaları ise ticari olmayan kullanıma izin veren CC BY-NC 4.0 lisansıyla sunuluyor. Sonuçlar bir ön baskıda paylaşıldı. Modelin klinik ortamdaki başarısını görmek için bağımsız araştırmacıların değerlendirmelerini takip etmekte fayda var.

Kaynaklar: FleXray proje sayfası, arXiv: FleXray makalesi, GitHub: FleXray, Hugging Face: model dosyaları.