大模型的壓測都是對流式接口進(jìn)行測試，大多是調(diào)用 sse，websock 和 openai sdk 這 3 種形式。流式接口就好像是在調(diào)用異步接口一樣（很像），需要我們通過輪詢的方式去分析每一個傳回來的包并做分析，如果是 openai sdk 的接口，那么交互起來還比較方便，因?yàn)?sdk 里把很多東西都封裝好了。 而如果是 websocket 和 sse 則比較麻煩，需要去分析包的內(nèi)容來判斷哪些是思考包，哪些是答案包，哪些是統(tǒng)計(jì)包，哪些是心跳包。處理起來就麻煩了很多。 為了簡單，我這里還是用 openai sdk 的格式給大家寫個 demo：