یادداشت محصول

کاهش هزینه LLM در Apex

چطور هزینه LLM در Apex را حدود ۹۵ درصد پایین آوردم و محصول هم بهتر شد.

نوشته شاهین غنی‌زادهApex

در نسخه اول کار زیادی را به یک مدل گران سپرده بودم. هم داده بازار را می‌گرفت، هم بخش بزرگی از تحلیل را انجام می‌داد و هم متن را می‌نوشت. خروجی هوشمند به نظر می‌رسید، اما گران بود و هر بار هم دقیقاً تکرار نمی‌شد.

راه بهتر این بود که محاسبه را از توضیح جدا کنم. حالا سرویس‌های Python وضعیت بازار، سطوح، تناقض‌ها و ریسک را حساب می‌کنند. LLM فقط نتیجه آماده را می‌گیرد و آن را به زبان قابل فهم توضیح می‌دهد.

این تغییر علاوه بر کاهش هزینه، تست، بررسی خطا و قیمت‌گذاری محصول را هم ساده‌تر کرد. حالا LLM را برای توضیح و تولید متن به کار می‌برم و محاسباتی را که باید قابل تکرار باشند به سرویس‌های مشخص می‌سپارم.

ارتباط

پروژه‌ای در ذهن دارید؟

در واتساپ یک توضیح کوتاه درباره کاری که می‌خواهید انجام دهید، وضعیت فعلی و کمکی که لازم دارید بفرستید.