مقالهای جنجالی پرده از دستکاری احتمالی رتبهبندی مدلهای هوش مصنوعی برداشته است!
طبق این گزارش، شرکتهای بزرگ فناوری مثل متا (Meta)، اوپنایآی (OpenAI)، گوگل (Google) و آمازون (Amazon) در پلتفرم Chatbot Arena، مدلهای خود را بهطور خصوصی آزمایش کردهاند و فقط نتایج درخشان و مثبت را منتشر کردهاند.
برای مثال، متا ۲۷ مدل مختلف را زیر ذرهبین برده ، اما تنها مدلی را به میدان فرستاده که توانسته در صدر جدول بنشیند! این یعنی بقیه شرکتها فرصت رقابت عادلانه را از دست دادهاند.
محققان معتقدند که این رویکرد، نوعی برتری ناعادلانه را رقم زده است، بهویژه در سرویسهایی مثل Chatbot Arena که بهعنوان مرجعی اصلی برای مقایسه چتباتها شناخته میشوند. حالا سوال اینجاست: آیا بیطرفی این پلتفرم زیر سوال رفته است؟
