החוקרים טוענים שמערכות עשויות לשמר סטריאוטיפים תרבותיים גם כשהתשובה אינה כוללת אמירה פוגענית מפורשת. המחקר עוסק בתוצרים של מודלים, לא בתכונות של אנשים הנושאים את השמות.
שם אינו תחליף למידע
הניסוי מדגיש את הסיכון בהשלמת פרטים על אדם מתוך רמז חלקי. טקסט מפורט ומשכנע אינו הופך את ההשערות שבו לעובדות.
אם מערכת יוצרת פרופיל בלי מידע מאומת, צריך להבחין בין יצירה בדיונית לבין הערכה המבוססת על נתונים. ההבדל חשוב במיוחד כשיש לטקסט השפעה על החלטות הנוגעות לאנשים.
לבחון גם הטיה שאינה בוטה
ביקורת על תשובות AI יכולה לעסוק לא רק במילים אסורות, אלא גם בהנחות ובדפוסים שהטקסט מייצר. תכונה שנשמעת חיובית אינה בהכרח חסרת משמעות כשהיא מיוחסת באופן שיטתי לקבוצה.
הצורך בבדיקה ממוקדת
הממצאים אינם קביעה על כל גרסה של כל מערכת. הם מצביעים על צורך בבדיקה ממוקדת ובהימנעות מייחוס אישיות או יכולת לאדם רק על סמך שמו.
