وتعرضت الميزة لانتقادات بعد أن "نتجت صورًا غير دقيقة تاريخيًا" وسرعان ما اعترفت جوجل بالخطأ، قائلة إن برنامج الدردشة الآلي "أخطأ الهدف" وأوقف مؤقتًا إنشاء الصور للأشخاص في برج الجوزاء، حيث قامت الشركة بتفصيل الخطأ الذي حدث في إنشاء صور Gemini للذكاء الاصطناعي.

وفقًا لبرابهاكار راجافان، نائب الرئيس الأول لشركة جوجل، حدث خطأ في ميزة إنشاء الصور البشرية في Gemini،

"أولاً، فشل ضبطنا للتأكد من أن الجوزاء أظهر مجموعة من الأشخاص في حساب الحالات التي يجب ألا تظهر نطاقًا بوضوح، وثانيًا، مع مرور الوقت أصبح النموذج أكثر حذرًا مما كنا نهدف إليه، ورفض الإجابة على بعض المحفزات بشكل كامل، مما أدى إلى تفسير خاطئ لبعض المحفزات المهدئة على أنها حساسة.

تم تصميم ميزة إنشاء الصور في تطبيق Gemini للمحادثة استنادًا إلى نموذج الذكاء الاصطناعي المسمى Imagen 2، وقالت الشركة إنه إذا طلب المستخدمون من Gemini صورًا لأشخاص في سياقات ثقافية أو تاريخية معينة، فيجب عليهم "بالتأكيد" الحصول على استجابة دقيقة.

وقال إن المشكلتين دفعتا النموذج إلى الإفراط في التعويض في بعض الحالات، والإفراط في التحفظ في حالات أخرى، مما أدى إلى ظهور صور محرجة وخاطئة، مشيراً إلى أن جوجل تعمل على نسخة محسنة.

وقالت جوجل إنها تعمل على نسخة محسنة سيتم إصدارها لاحقًا، وأكدت أن جيميني قد لا يكون موثوقًا دائمًا، "خاصة عندما يتعلق الأمر بإنشاء صور أو نصوص حول الأحداث الجارية، أو الأخبار المتطورة أو الموضوعات الساخنة".

من جهة أخرى قال راجافان "سوف يرتكب أخطاء، كما قلنا من البداية، تعتبر الهلوسة تحديًا معروفًا لجميع طلاب ماجستير القانون - هناك حالات يخطئ فيها الذكاء الاصطناعي في الأمور وهو امر نعمل على تحسينه باستمرار. 

وأشار إلى أن جيميني سيولد أحيانًا نتائج محرجة أو غير دقيقة أو مسيئة، وستستمر جوجل في اتخاذ الإجراءات كلما حددت مشكلة.