محققان اپل: مدل های هوش مصنوعی فعلی ناقص هستند؛ زیرا نمی توانند استدلال کنند

 به گزارش گروه اقتصادی خبرگزاری دانشجو، دانشمندان هوش مصنوعی اپل در مقاله جدیدی توضیح داده اند موتورهای مبتنی بر مدل های زبانی بزرگ (LLM)، - خود بنچمارک جدیدی با نام GSM-Symbolic را پیشنهاد کرده اند که با آن می توان قابلیت های استدلال مدل های زبانی بزرگ مختلف را اندازه گیری کرد.

آن ها در تحقیق خود متوجه شده اند اعمال تغییرات جزیی در دستورات متنی، می تواند پاسخ های کاملاً متفاوتی داشته باشد و این موضوع اطمینان به مدل ها را تضعیف می کند.

محققان اپل با اضافه کردن برخی اطلاعات زمینه ای به سؤالات خود، تلاش کرده اند شکنندگی استدلال ریاضی را نشان بدهند.

آن ها در مقاله حاضر این گونه شرح می دهند: زمانی که فقط مقادیر عددی سؤال در بنچمارک GSM-Symbolic تغییر می کند، عملکرد تمام مدل ها کاهش می یابد.

علاوه براین، شکنندگی استدلال ریاضی در این مدل ها نشان می دهد با افزایش تعداد بندهای سؤال، عملکرد آن ها به طور قابل توجهی بدتر می شود.

خطای هوش مصنوعی در محاسبه در این مطالعه نشان داده شده اضافه کردن حتی یک جمله که درباره سؤال ریاضی اطلاعات بیشتری ارائه می کند، می تواند دقت پاسخ نهایی را تا 65 درصد کاهش بدهد.

در یکی از مثال ها، دانشمندان ابتدا توضیح زیر را به هوش مصنوعی دادند: اولیور جمعه 44 کیوی می چیند.