GPT-4はAPI料金がクッソ高いのがネックだから、LLMカスケードという手法で精度を維持しつつコストを爆下げしたらしい。LLMカスケードってのは最初に安いGPT3.5とかに訊いて、信頼スコアを判定してスコアが高ければOK。低ければしゃーないからGPT-4に訊くという感じ。いや、どうやって信頼スコアを判定… https://t.co/1tVFjtmD3T