امتیاز هوش مصنوعی اوپن ای آی دروغ از آب درآمد
به گزارش توسعه دهندگان، اختلافی بین نتایج آزمایش مدل هوش مصنوعی o۳ اوپن ای آی در بنچمارک طرف اول و ثالث سوالاتی در رابطه با شفافیت این شرکت و روش های تست مدلهای آن به وجود آورده است.
به گزارش خبر گزاری مهر به نقل از تک کرانچ، اوپن ای آی هنگام رونمایی این مدل را در دسامبر ۲۰۲۴ میلادی ادعا نمود o۳ می تواند بیشتر از یک چهارم سئوالات در بنچمارک FrontierMath (مجموعه ای چالش برانگیز از مساله های ریاضی) را پاسخ دهد. مارک چن محقق ارشد اوپن ای آی در یک برنامه پخش زنده اظهار داشت: امروز تمام محصولات عرضه شده در بنچمارک FrontierMath کمتر از دو درصد امتیاز دارند. ما در تست های داخلی o۳ که در محیط های رایانشی با عملکرد بالا انجام شد به امتیاز بیشتر از ۲۵ درصد دست یافتیم. به نظر می آید این رقم احتمالا حد بالایی بود که توسط نسخه ای از o۳ با محاسبات بیشتر نسبت به مدل OpenAI که هفته گذشته به صورت عمومی ارائه شد به دست آمد. انستیتو تحقیقات Epoch AI که بنچمارک FrontierMath را عرضه می کند، نتایج تست های مستقل خود از o۳ را منتشر نمود. این شرکت متوجه شد امتیاز این مدل حدود ۱۰ درصد و بسیار پایین تر از ارقام بسیار بالای ادعا شده توسط اوپن ای آی است. البته این بدان معنا نیست که اوپن ای آی دروغ گفته است. نتایج تست در بنچمارک که شرکت در دسامبر ۲۰۲۴ منتشر نمود نشان دهنده امتیازی کمتر است که با آن چه Epoch رصد کرده مطابقت دارد.
این مطلب را می پسندید؟
(1)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب