医療レポート自動生成のためのVision-Language Model

3次元医用画像を対象とした医療レポート自動生成、Medical VQA、臨床テキスト生成のためのマルチモーダルAIに関する研究。

English

研究概要

本研究では、医用画像の自動解釈と臨床的に有用なレポート生成を目的として、Vision-Language Model（VLM）および大規模マルチモーダルモデルの応用に取り組んでいます。

特に、3次元CT画像などの医用画像情報と大規模言語モデルを組み合わせることで、画像からの自動レポート生成、Medical Visual Question Answering（Medical VQA）、質問・回答ペアの生成、ならびにマルチモーダル推論に関する研究を進めています。

また、単一時点の医用画像だけでなく、複数時点にわたる縦断的CT画像を解析し、時間的な変化を考慮した医療レポート生成や画像理解にも取り組んでいます。

研究内容

  • Vision-Language Model
  • 大規模マルチモーダルモデル
  • 医療レポート自動生成
  • 放射線画像レポート生成
  • 縦断的CT画像解析
  • Medical Visual Question Answering
  • 質問・回答ペアの自動生成
  • Reinforcement Learning from Human Feedback（RLHF）
  • マルチモーダル医療推論
  • 日本語医療レポート生成
  • 臨床テキスト生成
  • 3次元医用画像と自然言語情報の統合解析

研究期間

2024年–現在

共同研究

  • 名古屋大学
  • 医用画像・臨床分野の共同研究者

代表的な研究業績

  • RLHF-based Q&A Pairs Generation from Finding Texts of Abdominal CT Images for Fine-Tuning of Medical Large Multimodal Models, IFMIA, 2025.

  • Automated Findings Report Generation Using VLM from Longitudinal 3D CT Volumes, CARS, 2025.

  • Automated Generation of Japanese Medical Reports from 3D Abdominal CT Volumes, CARS, 2025.

  • SIGMA: Auto-Regressive VLM for Automated Radiology Report Generation from Longitudinal 3D CT Volumes, MICCAI Workshop, 2025.

  • Joint Training to Improve Report Generation Capability from Longitudinal CT Volumes with a Vision-Language Model, SPIE Medical Imaging, 2026.

  • An Investigation of Segmentation-Pretrained and Image-Text Pretrained Models for Medical VQA, SPIE Medical Imaging, 2026.

  • Generation of Comparative Thrombosis Reports from Confocal Laser-Scanning Microscope Images Using Large Language Models, SPIE Medical Imaging, 2026.

キーワード

Vision-Language Model · 大規模マルチモーダルモデル · 医療レポート生成 · Medical VQA · 縦断的CT · マルチモーダルAI · RLHF · 深層学習