结合语音输入实现对话

From Bilibili

Speech to text by Azure and chat with Openai

From Youtube

Speech to text by Azure and chat with Openai

这里结合了语音输入的功能来实现对话，ai 作为一个面试者在回答面试官的问题。

openai有自己的语音接口 Whipser，但实际使用下来，whisper对中文的处理不如英文。另外 Whipser本身也带了一部分ai的功能，如果是使用它作为翻译功能的话，效果不错。不过这里我们直接使用微软的语音服务。

同样，简单的步骤说明：

1. 根据用户选择的面试职位类型生成对应的SystemMessage

2. 用户点击按钮之后获取到浏览器麦克风权限监听

3. 实时识别面试官语音提问并转为文字( Azure Speech-To-Text)

4. 将面试官提问内容作为HumanMessage传入接口

5. 结合之前的System message，以及前面几轮的对话内容一同发送给openai

6. 得到openai的AIMessage并展示。

另外还有一个场景是，ai作为面试官来提问，这和上面的场景略有不同，区别是在这个场景中，

1. ai要成为一个提问者

2. 需要根据面试的JD以及面试人员的简历来做提问

3. 提问顺序由浅入深，并且根据面试者的回答来调整