服务端处理
最后更新于
最后更新于
依托OpenAI API对 stream 的支持,可以实现连续的结果输出。
在使用 langchain 的基础上,只需要开启 streaming 为 true,并且在 callbacks中调用 handleLLMNewToken 既可处理流式的token返回
在处理连续 token 时,node返回的repsonse 也需要符合 text/event-stream格式
👆以上经过 Next Response 处理,当 Openai 的stream 内容全部返回时,返回一个 __completed__
给客户端用于标记内容已完全收到。