هوش مصنوعی کلاود Fable ۵ پس از بازگشت تضعیف شده است؟
بازگشت مدل کلاود فیبل ۵ (Claude Fable ۵) با موجی از انتقادات کاربران در رسانههای اجتماعی همراه شد. بسیاری از کاربران مدعی هستند که این مدل «لوبوتومی» (نوعی جراحی مغز) شده و عملکرد آن نسبت به نسخه پیشین به شدت کاهش یافته است؛ با این حال، تحلیلهای فنی دقیقتر نشان میدهد که خودِ مدل هوشمندتر یا کندتر نشده، بلکه سیستمهای نظارتی و فیلترینگ ورودی بسیار سختگیرانهتر عمل میکنند.
دادههای دو پلتفرم ارزیابی هوش مصنوعی، یعنی بریجبنچ (BridgeBench AI) و آرنا ایآی (Arena AI)، در نگاه اول متناقض به نظر میرسند. بریجبنچ گزارش داده است که نمرات خطایابی از ۸۶.۲ به ۲۵.۹ سقوط کرده، اما آرنا در ارزیابیهای انسانی خود تغییر معناداری را مشاهده نکرده است. دلیل این تفاوت، لایه امنیتی جدید شرکت آنتروپیک (Anthropic) است که پیش از رسیدن درخواست به مدل فیبل، آن را بررسی میکند.
تأثیر سیستمهای حفاظتی بر تجربه کاربران
واقعیت این است که در نسخه جدید، یک کلاسیفایر امنیتی (Classifier) برای جلوگیری از سوءاستفادههای امنیتی و شناسایی آسیبپذیریهای نرمافزاری نصب شده است. این سیستم به قدری محافظهکارانه عمل میکند که بسیاری از درخواستهای عادی برنامهنویسی را به عنوان «تهدید» شناسایی کرده و آنها را به مدل ضعیفتر کلاود اپوس (Claude Opus) ارجاع میدهد.
در نتیجه، کاربران در عمل خروجی مدلی ضعیفتر را دریافت میکنند در حالی که تصور میکنند فیبل ۵ در حال پاسخدهی است. تیم تحقیقاتی بریجمایند (BridgeMind) در پلتفرم X (توییتر سابق) اعلام کرد:
نتایج بسیار بیرحمانه هستند؛ نمرات خطایابی و بازنویسی کد به شدت افت کرده است. سیستمهای حفاظتی جدید در تعداد بسیار زیادی از وظایف فعال شده و پردازش را به مدل اپوس واگذار میکنند.
در مقابل، برای کاربرانی که از این هوش مصنوعی برای نویسندگی خلاقانه، تحلیل اسناد و تحقیقات عمومی استفاده میکنند، تفاوت چندانی احساس نمیشود؛ چرا که درخواستهای آنها جبهه امنیتی سیستم را تحریک نمیکند.
آنتروپیک اعلام کرده است که این سختگیریهای فعلی موقتی است و با گذشت زمان، دقت سیستمهای نظارتی برای کاهش نرخ خطای مثبت و جلوگیری از مسدودسازی درخواستهای سالم بهبود خواهد یافت.
