یادداشت محصول
کاهش هزینه LLM در Apex
چطور هزینه LLM در Apex را حدود ۹۵ درصد پایین آوردم و محصول هم بهتر شد.
در نسخه اول کار زیادی را به یک مدل گران سپرده بودم. هم داده بازار را میگرفت، هم بخش بزرگی از تحلیل را انجام میداد و هم متن را مینوشت. خروجی هوشمند به نظر میرسید، اما گران بود و هر بار هم دقیقاً تکرار نمیشد.
راه بهتر این بود که محاسبه را از توضیح جدا کنم. حالا سرویسهای Python وضعیت بازار، سطوح، تناقضها و ریسک را حساب میکنند. LLM فقط نتیجه آماده را میگیرد و آن را به زبان قابل فهم توضیح میدهد.
این تغییر علاوه بر کاهش هزینه، تست، بررسی خطا و قیمتگذاری محصول را هم سادهتر کرد. حالا LLM را برای توضیح و تولید متن به کار میبرم و محاسباتی را که باید قابل تکرار باشند به سرویسهای مشخص میسپارم.