يستخدم ملايين البشر نماذج الذكاء الاصطناعي في مهامهم اليومية، ورغم التطور السريع والخارق في هذا المجال إلا أن هذه النماذج ترسب في أحيانٍ كثيرة في الرد على أسئلة بسيطة جداً حتى على الأطفال.
فقد أظهر مقطع فيديو متداول أخطاء في قدرات التهجئة لدى أدوات الذكاء الاصطناعي مثل "شات جي بي تي" وكلود، بعدما قدّمت إجابات غير صحيحة حول عدد حرف L في كلمة "Google"، ما أعاد هذا الجدل حول حدود نماذج اللغة الكبيرة (LLMs)، خصوصاً في المهام البسيطة مثل عدّ الحروف داخل الكلمات وفق wionews.
في الفيديو، وُجِّه سؤال إلى "شات جي بي تي": "كم عدد حرف L في كلمة Google؟"، فأجاب بشكل خاطئ في البداية بأن هناك حرفين L موجودين في نهاية الكلمة، وعندما استفسر المستخدم مرة أخرى، تراجع النموذج سريعاً واعتذر، موضحاً أن هناك حرف L واحداً فقط، وأن الخطأ جاء نتيجة "الخلط أثناء المحادثة" أو اعتماد النموذج على أنماط لغوية شائعة.
كما طرح المستخدم السؤال نفسه على كلود، الذي قدّم الإجابة الخاطئة نفسها في البداية، لكنه عند طلب تهجئة الكلمة قام بكتابتها بشكل صحيح.
وعندما نُبّه إلى التناقض، اعترف بالخطأ وأوضح أنه "لم ينتبه" وأنه كان خطأ في المعالجة، مستخدماً نبرة اعتذار قريبة من الأسلوب البشري.
وأشار كلود عند سؤاله عن سبب الخطأ إلى أن الإجابة ربما جاءت من "أجزاء مختلفة من النموذج" بدلاً من مراجعة دقيقة حرفاً حرفاً، ويعكس ذلك طبيعة عمل نماذج اللغة التي تعتمد على التوقع الإحصائي للكلمات، وليس على فحص دقيق للرموز.
ويؤكد هذا المثال الانتقادات الموجهة لنماذج الذكاء الاصطناعي، إذ يمكن أن ترتكب أخطاء في مهام تبدو بسيطة للبشر مثل العدّ أو التهجئة الدقيقة، كما سبق أن اعترفت جهات مثل Google بأن مثل هذه المهام تمثل تحدياً للنماذج اللغوية المستخدمة في روبوتات الدردشة.