如何合理使用大模型API？FrugalGPT 在成本和性能中进行折中

论文信息FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving PerformanceICLR 2024 论文主页: https://openreview.net/forum?id=XUZ2S0JVJP论文的主题是关于如何在使用大型语言模型时降低成本并提高性能，作者来自斯坦福大学。论文在2023年上半年公开，并已提交到ICLR 2024 Conference。尽管审稿人对该论文的评价不高，但在实际应用中具有很大的参考价值。论文对比了大型语言模型（LLMs）的使用成本，如GPT-4、ChatGPT和J1-Jumbo。通过对比发现这些模型的费用相差两个数量级，论文提出了三种策略来降低使用LLMs的推理成本。论文出发点据估计ChatGPT每天的运营成本超过70万美元，而使用GPT-4支持客户服务可能会让小型企业每月花费超过2.1万美元。目前有许多LLMs通过API提供，并且它们的收费价格差异巨大。一般而言，使用LLM API的成本通常包括三个部分：提示成本（与提 ………………………………