ارزیابی هوش مصنوعی مولد در رادیولوژی با هیئت داوری LLM ، قرارداد ۱.۲۹ میلیون دلاری FDA و کگنیتا

قرارداد FDA برای حل چالش ارزیابی هوش مصنوعی مولد

شرکت کگنیتا ایمیجینگ یک قرارداد پژوهشی به ارزش ۱.۲۹ میلیون دلار از سازمان غذا و داروی آمریکا دریافت کرده است تا روش جدیدی برای ارزیابی گزارش‌های رادیولوژی تولیدشده توسط هوش مصنوعی را آزمایش کند.

هدف این پروژه بررسی این موضوع است که آیا می‌توان از مجموعه‌ای از مدل‌های زبانی بزرگ به‌عنوان یک «هیئت داوری هوش مصنوعی» برای ارزیابی عملکرد یک سامانه هوش مصنوعی دیگر استفاده کرد و مشخص کرد که در چه مواردی همچنان بررسی گزارش توسط رادیولوژیست ضروری است.

چرا ارزیابی گزارش کامل، متفاوت از هوش مصنوعی سنتی است؟

اهمیت این پروژه در آن است که ارزیابی هوش مصنوعی مولد با سامانه‌های سنتی تشخیص یک یافته مشخص تفاوت دارد. یک سامانه مولد می‌تواند ده‌ها یا حتی صدها یافته مختلف را در قالب یک گزارش متنی بیان کند و همین موضوع، سنجش دقت و ایمنی آن را دشوارتر می‌کند.

در روش‌های معمول، عملکرد سامانه‌های هوش مصنوعی با کمک گروهی از متخصصان رادیولوژی ارزیابی می‌شود؛ اما زمانی که یک سامانه بتواند گزارش‌های متنی کامل و متنوعی تولید کند، بررسی تمام خروجی‌های آن بسیار پیچیده‌تر و زمان‌بر خواهد بود.

این قرارداد ۱۸ ماهه از ۲۲ ژوئن آغاز شده و دقیقاً یکی از چالش‌های مهم هوش مصنوعی مولد در پزشکی را هدف قرار می‌دهد.

آزمایش روی یک میلیون آزمایش در جمعیت بزرگ آمریکا

پژوهشگران کگنیتا قصد دارند چارچوب پیشنهادی خود را روی اطلاعات یک میلیون آزمایش پزشکی از یک جمعیت بزرگ در آمریکا آزمایش کنند. عملکرد سامانه در گروه‌های مختلف بیماران، محیط‌های درمانی، تجهیزات تصویربرداری و بیماری‌های گوناگون بررسی خواهد شد و حتی یافته‌های نادر نیز در ارزیابی قرار می‌گیرند.

تمرکز ویژه بر توهم هوش مصنوعی و حذف یافته مهم

یکی از بخش‌های مهم این پروژه، بررسی خطاهای رایج هوش مصنوعی مولد است. پژوهشگران به‌طور ویژه میزان «توهم هوش مصنوعی» یعنی تولید اطلاعات ظاهراً درست اما نادرست، و همچنین حذف یافته‌های مهم از گزارش را بررسی خواهند کرد.

در صورت مشاهده اختلاف‌های دارای اهمیت بالینی، رادیولوژیست‌ها وارد فرآیند بررسی می‌شوند تا مشخص شود خطا از گزارش تولیدشده توسط هوش مصنوعی، هیئت مدل‌های زبانی یا گزارش اولیه پزشک ناشی شده است.

شرکت کگنیتا در پایان پروژه، نتایج و محدودیت‌های روش پیشنهادی، کد نرم‌افزاری، دستورالعمل ساخت هیئت‌های ارزیاب مبتنی بر مدل‌های زبانی و مطالعات مربوط به اختلاف‌های میان گزارش‌های هوش مصنوعی و ارزیابی متخصصان را در اختیار سازمان غذا و داروی آمریکا قرار خواهد داد.

زمینه نظارتی؛ FDA به‌دنبال چارچوب تنظیم‌گری هوش مصنوعی مولد

این پروژه در شرایطی انجام می‌شود که سازمان غذا و داروی آمریکا در حال بررسی روش‌های مناسب برای نظارت و تنظیم مقررات تجهیزات پزشکی مجهز به هوش مصنوعی مولد است. کگنیتا همچنین برای یک سامانه هوش مصنوعی که تصاویر رادیولوژی قفسه سینه را تفسیر کرده و گزارش تولید می‌کند، عنوان «دستگاه نوآورانه» دریافت کرده است؛ هرچند این سامانه هنوز مجوز نهایی دریافت نکرده است.

منبع: پایگاه خبری تجهیزات پزشکی ایران (MEOI)_ medtechdive