הרופא הקשיב ללב. הבינה המלאכותית התחילה לטעות — והוא עדיין האמין לה
16.11.26 / 10:41
בניסוי מבוקר, מערכת שסייעה לרופאים לזהות קולות לב הידרדרה בהדרגה עד לאפס דיוק. רוב המשתתפים לא הבחינו בתקלה, וגם החלטה עצמאית לפני הצגת תשובת המכונה לא הפכה אותם לרשת ביטחון אמינה.
דמיינו רופא שמניח אוזניות, מקשיב לקול לב מוקלט ומביט בתשובת מערכת בינה מלאכותית. במשך כמה מקרים היא נראית מבריקה. היא מסמנת את החריגים, מאשרת את הברורים ומקבלת לעצמה את ההילה המסוכנת ביותר שיש לטכנולוגיה רפואית: הרגל.
ואז היא מתחילה לטעות. לא בהכרזה דרמטית, לא במסך אדום ולא עם עשן שיוצא מהמחשב. הדיוק שלה נשחק בהדרגה, אבל הרופא עדיין אמור להיות שם כדי לתפוס אותה. זה הרי ההסדר הלא כתוב של עידן הבינה המלאכותית: המכונה תמהר, האדם ישגיח.
מחקר חדש שפורסם ב־npj Digital Medicine בדק מה קורה כשההסדר הזה פוגש בני אדם אמיתיים. התוצאה איננה כתב אישום נגד רופאים, וגם לא הוכחה שכל מערכת רפואית מועדת לאסון. היא כן מפוצצת בנימוס מיתוס נוח: עצם נוכחותו של אדם ליד האלגוריתם אינה הופכת את המערכת לבטוחה.
ארבעים קולות לב, ומכונה שאיבדה את זה
החוקרים גייסו 48 אנשי רפואה דוברי גרמנית: סטודנטים לרפואה בשנתם האחרונה, רופאים מתמחים ורופאים מנוסים. כל משתתף סיווג 40 הקלטות דיגיטליות של קולות לב כתקינות או חריגות. המשתתפים חולקו באקראי לשתי קבוצות של 24.
לקבוצה אחת הוצגה המלצת הבינה המלאכותית לפני שהמשתתפים נתנו תשובה. בקבוצה השנייה נדרשו המשתתפים להחליט תחילה בעצמם ולדרג את הביטחון בהחלטה; רק אחר כך נחשפה המלצת המערכת, והם יכלו לשנות את דעתם. זהו ניסיון ליישם מה שמכונה כפייה קוגניטיבית: לגרום לאדם לחשוב לפני שהמספר הזוהר על המסך הופך לעוגן.
למשתתפים נאמר שהמערכת השיגה בעבר דיוק של 96%. אבל בתוך הניסוי אמינותה ירדה בארבע מדרגות: 90%, אחר כך 60%, אחר כך 50%, ולבסוף 0%. בבלוק האחרון אפילו האותות החזותיים והקוליים לא תאמו זה לזה — עוד רמז לכך שמשהו במכונה יצא מאיזון.
הביצועים ירדו. האמון התעקש להישאר
ככל שהמערכת הידרדרה, ירדו גם ביצועי האדם והמכונה יחד. שיעור ההצלחה הממוצע לאחר קבלת המלצת ה־AI ירד מ־81.45% בבלוק הראשון ל־58.33% בבלוק האחרון. הרופאים הצליחו לרכך חלק מהנזק של מערכת גרועה — הביצוע המשולב היה טוב יותר מדיוק המכונה בבלוקים החלשים — אבל עדיין נפל מתחת לביצוע האנושי ללא הסיוע.
המספר המטריד יותר אינו אפס האחוזים של האלגוריתם. הוא שיעור האנשים שהבינו מה קרה. אחרי הניסוי, רק שישה מתוך 48 המשתתפים, 12.5%, דיווחו מיוזמתם שהבחינו בירידה באמינות. גם כאשר נשאלו במפורש אם חל שינוי במערכת, רק 37.5% אמרו שזיהו את הירידה.
הביטחון של המשתתפים בעצמם ירד מהר יותר מהאמון שלהם במערכת. בקבוצה שהחליטה תחילה בלי AI, הביצוע העצמאי נשאר יציב יחסית, אך הביטחון בהחלטות העצמאיות נשחק. במילים פשוטות: גם כשהרופאים המשיכו לדעת בערך את מה שידעו קודם, הם התחילו לפקפק בעצמם לפני שפיקפקו במכונה.
לחשוב קודם לא הספיק
החוקרים ציפו שהחלטה עצמאית לפני הצגת תשובת ה־AI תעזור למשתתפים לזהות טעויות ולהתנגד להן. זה לא קרה. הכפייה הקוגניטיבית לא שיפרה את הביצועים הכוללים, ובבלוק האחרון דווקא הקבוצה שראתה את המלצת המערכת קודם השיגה תוצאה טובה יותר מהקבוצה שנדרשה להחליט בעצמה תחילה.
זו אינה סיבה לוותר על חשיבה עצמאית. החוקרים עצמם מדגישים שנדרש מחקר נוסף בתנאי עבודה אמיתיים, עם מידע קליני מלא ועם הכשרה ייעודית. אבל הממצא מזכיר שטופס שמכריח רופא ללחוץ על כפתור לפני הצגת המלצת המכונה אינו בהכרח מנגנון בטיחות; לפעמים הוא רק עוד כפתור.
הניסוי היה קיצוני — והמציאות מורכבת יותר
חשוב לא להלביש על 48 משתתפים מעבדה שלמה של מסקנות על הרפואה העולמית. 18 מהמשתתפים היו סטודנטים בשנתם האחרונה, ורק חלקם היו מומחים מנוסים. הם ביצעו משימת האזנה מבודדת, בסביבה שקטה, בלי מטופל מולם, בלי מדדים חיוניים ובלי שיחת צוות. התקלה גם הידרדרה בסדר קבוע עד לאפס דיוק, מצב קיצוני שאינו משקף בהכרח תקלה אמיתית שמתפרצת, נעלמת או פוגעת רק בקבוצה מסוימת.
מצד שני, דווקא הקיצוניות מחדדת את השאלה: אם רוב המשתתפים לא זיהו מערכת שירדה עד לאפס דיוק ואף הציגה חוסר התאמה בין קול לתצוגה, כמה קל יהיה לזהות סטייה עדינה של כמה אחוזים בתוך יום עמוס?
כשהמערכת עובדת, הפיתוי גדול
הבעיה איננה שבינה מלאכותית רפואית חסרת ערך. מחקר גדול אחר שפורסם החודש ניתח סריקות MRI לב של 27,382 מטופלים בבריטניה ובארצות הברית. מדידת מקטע הפליטה שחושבה באמצעות AI הייתה קשורה מעט טוב יותר להישרדות לעומת מדידות קליניות, והעיבוד ארך כשתי עד שלוש שניות למטופל במקום דקות ארוכות של עבודת מומחה.
זה בדיוק מה שהופך את שאלת הפיקוח לחשובה. מערכת מהירה, עקבית ומועילה יכולה להשתלב בשגרה עד שאנשים מפסיקים לראות בה המלצה ומתחילים לראות בה עובדה. גם צוות המחקר ההוא הדגיש שנדרשת בדיקת מומחה: טעויות המערכת היו נדירות, אך נדיר איננו אפס, והמספר מקבל משמעות אחרת כשהכלי מופעל על אלפי מטופלים.
האדם אינו מערכת הניטור
ארגון הבריאות העולמי מדגיש בהנחיותיו שפיקוח אנושי צריך להיות משמעותי, ולא קישוט שמוצמד למערכת אחרי הפיתוח. באיחוד האירופי, מפעילי מערכות AI בסיכון גבוה נדרשים לנטר את פעולתן ולהקצות אנשים שמצוידים ומוסמכים לבצע פיקוח. המחקר החדש מציע שהאדם הבודד בחדר הטיפולים אינו יכול לשאת לבדו את כל המשקל הזה.
פיקוח אמיתי צריך לפעול בכמה שכבות: המערכת צריכה להציג אי־ודאות וסימנים לסטייה; בית החולים צריך לנטר ביצועים לאורך זמן ובתתי־אוכלוסיות; הספק צריך לזהות שינוי בנתונים ובתקלות; והרופא צריך לקבל הקשר, הכשרה ודרך מעשית לעצור את הכלי בלי להילחם בזרימת העבודה.
זו אולי התובנה הכי פחות עתידנית והכי חשובה: בטיחות איננה אדם שיושב מול מסך ונשאר חשדן לנצח. בני אדם מתעייפים, מתרגלים וסומכים על מה שעבד אתמול. אם הבינה המלאכותית של המחר תיכנס לרפואה, היא לא תוכל לקבל רופא ככיסוי ביטוחי. היא תצטרך מערכת שלמה שמסוגלת להבחין גם ברגע שבו המכונה מפסיקה להיות חכמה.
קרדיט תמונה: אילוסטרציה – AI
