یک مدل کوچک‌تر هوش مصنوعی چگونه می‌تواند برای یک کار مفید مناسب باشد؟

چرا این هفته درباره مدل‌های کوچک‌تر صحبت می‌کنیم؟

Anthropic در ۷ اکتبر ۲۰۲۶، Haiku 5.5 را برای کارهای محدود و تکراری معرفی کرد. اطلاعیه همچنان مدل‌های بزرگ‌تر را برای کارهای پیچیده متمایز می‌کند. این انتشار تاریخ‌دار، ارتباط خبری تازه این توضیح است؛ نه مدرکی که مدل کوچک‌تر برای هر کاری بهتر است یا نتایج معیارهای فروشنده، نتیجه کار شما را پیش‌بینی می‌کنند.

منبع: Anthropic: Introducing Claude Haiku 5.5 · Anthropic: Claude Haiku model page

یک کار محدود چه شکلی دارد؟

برنامه فرضی ما پیام‌های پشتیبانی دریافت می‌کند. کار این است که با قواعد مشخص به هر پیام برچسب ورود، بارگذاری یا سایر بدهیم. نمی‌توانم وارد شوم، نمونه فرضی دسته ورود است؛ بارگذاری عکس انجام نشد، نمونه دسته بارگذاری است. پیام خارج از دسته‌های تعریف‌شده به بازبینی می‌رود. این‌ها برچسب‌های مورد انتظار یک مثال اصلی‌اند، نه خروجی واقعی مدل. مرز روشن کار، ارزیابی را ممکن می‌کند.

منبع: Claude Platform: Define success criteria and build evaluations

چگونه بررسی کنیم که کار می‌کند؟

از نمونه‌هایی با پاسخ معلوم استفاده کنید و ورودی‌های مبهم، غیرمعمول و ناقص را هم بگنجانید. گزینه‌ها را با مجموعه کارهای مرتبط یکسان مقایسه کنید. خطا، ثبات پاسخ، زمان پاسخ و هزینه را در برابر نیازهای تعریف‌شده بسنجید. پاسخ قانع‌کننده یا ابراز اطمینان مدل، درستی را ثابت نمی‌کند. این یک فرایند ارزیابی پیشنهادی است؛ برای این مطلب هیچ مدلی آزمایش نشده است.

منبع: Claude Platform: Define success criteria and build evaluations

مسیردهی چیست؟

مسیردهی، مسیر انجام کار را انتخاب می‌کند. کار محدود و تکراری ممکن است به مدل کوچک‌تر برود. نتیجه مبهم، بررسی ناموفق یا درخواست پیچیده می‌تواند به مدل قوی‌تر یا یک انسان ارجاع شود. این مسیر جایگزین را صریح تعریف کنید و نتیجه آن را هم بررسی کنید. مدل قوی‌تر یک گزینه دیگر است، نه تضمین خودکار حل شدن حالت دشوار. نمودار، طرح مفهومی است و سامانه پیاده‌سازی‌شده نیست.

منبع: Anthropic: Introducing Claude Haiku 5.5 · Claude Platform: Define success criteria and build evaluations · Anthropic: Claude Haiku model page

محاسبه فرضی چگونه انجام می‌شود؟

فرض کنید هر یک از ۱۰۰ درخواست، یک فراخوانی اولیه با هزینه ساختگی ۰٫۰۲ دلار دارد: ۱۰۰ ضرب‌در ۰٫۰۲ برابر با ۲ دلار است. فرض کنید ۲۰ درخواست به یک فراخوانی اضافه با هزینه ساختگی ۰٫۲۰ دلار نیاز دارند: ۲۰ ضرب‌در ۰٫۲۰ برابر با ۴ دلار است. مجموع هزینه فراخوانی‌ها ۶ دلار برای ۱۲۰ فراخوانی است. اگر هر ۱۰۰ درخواست اولیه از مسیر ۰٫۲۰ دلاری بروند، ۱۰۰ ضرب‌در ۰٫۲۰ برابر با ۲۰ دلار می‌شود. این هزینه‌ها و ۲۰ ارجاع، فرضی‌اند؛ قیمت Haiku، نرخ خطای مدل، صرفه‌جویی اندازه‌گیری‌شده یا مدرک کیفیت یکسان نیستند.

چه چیزی در این مجموع نیست؟

این محاسبه هزینه مسیردهی، تلاش دوباره، ابزارها و زمانی را که انسان صرف بررسی خروجی می‌کند در نظر نمی‌گیرد. همچنین نشان نمی‌دهد چند خروجی بازبینی را گذرانده‌اند. فقط پس از برآورده شدن معیار کیفیت مرتبط، کل هزینه هر نتیجه پذیرفته‌شده را مقایسه کنید. تلاشی ارزان‌تر که اصلاح بیشتری می‌خواهد می‌تواند نتیجه مقایسه را تغییر دهد. این مثال، پرسشی برای اندازه‌گیری است، نه پیش‌بینی صرفه‌جویی یک شرکت.

منبع: Claude Platform: Define success criteria and build evaluations · Claude Platform: Pricing

پیش از انتخاب چه چیزی را بررسی کنیم؟

دسترسی فعلی مدل را برای محصول، ارائه‌دهنده و حسابی که می‌خواهید استفاده کنید بررسی کنید. نرخ‌های فعلی API را بخوانید؛ نام مدل را قیمت ثابت هر فراخوانی ندانید و فرض نکنید اشتراک، یک حجم کار را پوشش می‌دهد. مقدار ورودی و خروجی، طول ورودی، حافظه نهان، میزان تلاش پردازشی و ابزارها می‌توانند بر صورتحساب اثر بگذارند. کار را متناسب انتخاب کنید، خروجی‌ها را آزمایش کنید، مسیر بازبینی داشته باشید و کل حجم کار را مقایسه کنید.

منبع: Anthropic: Introducing Claude Haiku 5.5 · Claude Platform: Pricing · Anthropic: Claude Haiku model page