😀
Intersection of AI and Web Development
HomeKnowledgeGitHubDiscussions
  • 👋Welcome!
  • Before Start
    • 主流平台
    • 名词概念
      • Token
      • Prompt
      • Temperature
      • Top K and Top P
      • Vector & Embeddings
    • CoT and ReAct
  • Practice
    • 发起一次提问和对话
    • Server-Sent Events流式对话
      • 客户端调用
      • 服务端处理
    • Openai Function Calling
      • 获取当前时间 - function calling
      • FunctionCalling实现实时搜索
        • openai functions 入参
        • 设定 functions
    • 通过Embeddings实现PDF检索
      • 上传识别PDF
      • 获取文本,按句整理
      • 上传并按限定长度分割Documents
      • Openai Embeddings 向量化及存储
    • 结合语音输入实现对话
      • 通过麦克风识别语音输入
      • Memory Chat & Conversation
    • Chrome侧边栏对话插件
  • Others
    • Framework and SDK
由 GitBook 提供支持
在本页

这有帮助吗?

  1. Practice
  2. Server-Sent Events流式对话

服务端处理

上一页客户端调用下一页Openai Function Calling

最后更新于1年前

这有帮助吗?

依托OpenAI API对 stream 的支持,可以实现连续的结果输出。

在使用 langchain 的基础上,只需要开启 streaming 为 true,并且在 callbacks中调用 handleLLMNewToken 既可处理流式的token返回

在处理连续 token 时,node返回的repsonse 也需要符合 text/event-stream格式

👆以上经过 Next Response 处理,当 Openai 的stream 内容全部返回时,返回一个 __completed__ 给客户端用于标记内容已完全收到。