结合语音输入实现对话
最后更新于
这有帮助吗？
最后更新于
这有帮助吗？
这里结合了语音输入的功能来实现对话，ai 作为一个面试者在回答面试官的问题。
同样，简单的步骤说明：
根据用户选择的面试职位类型生成对应的SystemMessage
用户点击按钮之后获取到浏览器麦克风权限监听
实时识别面试官语音提问并转为文字( Azure Speech-To-Text)
将面试官提问内容作为HumanMessage传入接口
结合之前的System message，以及前面几轮的对话内容一同发送给openai
得到openai的AIMessage并展示。
另外还有一个场景是，ai作为面试官来提问，这和上面的场景略有不同，区别是在这个场景中，
ai要成为一个提问者
需要根据面试的JD以及面试人员的简历来做提问
提问顺序由浅入深，并且根据面试者的回答来调整
openai有自己的语音接口 Whipser，但实际使用下来，whisper对中文的处理不如英文。另外 Whipser本身也带了一部分ai的功能，如果是使用它作为翻译功能的话，效果不错。不过这里我们直接使用微软的。