语音输入是HoloLens三大基本输入方式之一。Unity上有三种形式在应用上添加语音输入,分别是:
1.使用KeywordRecognizer(关键字识别)
2.使用GrammarRecognizer(语法识别)
3.使用DictationRecognizer(听写识别)
注意:只有听写或短语识别可以立即操作。这意味着如果一个 GrammarRecognizer 或KeywordRecognize在运行,DictationRecognizer则不能运行,反之亦然。
声音设置
麦克风必须设置支持语音输入
1. 在Unity Editor,通过导航至播放器设置设置"Edit > Project Settings > Player" 界面
2. 点击"Windows Store"
3. 在"Publishing Settings > Capabilities" ,检查麦克风设置
关键字识别
命名空间:UnityEngine.Windows.Speech
类型:KeywordRecognizer,PhraseRecognizedEventArgs,SpeechError,SpeechSystemStatus
通过注册<关键词>来初始化KeywordRecognizer实例,同时注册语音命令事件来做后续处理。
![](https://img.haomeiwen.com/i6271428/917d638c81607181.png)
添加一些存储识别和关键词到action dictionary:
![](https://img.haomeiwen.com/i6271428/7a956cba03e24dfe.png)
添加关键词至字典。我们以"activate" 为例
![](https://img.haomeiwen.com/i6271428/fd125b273608185c.png)
创建关键字识别
![](https://img.haomeiwen.com/i6271428/d82f7ead93c08420.png)
注册OnPhraseRecognized事件
![](https://img.haomeiwen.com/i6271428/0cd4514b141b2f20.png)
示例代码
![](https://img.haomeiwen.com/i6271428/ed7c9a4a3ac65244.png)
最后,开始识别
![](https://img.haomeiwen.com/i6271428/913eb9ce9661d229.png)
语法识别
命名空间:UnityEngine.Windows.Speech
类型:GrammarRecognizer,PhraseRecognizedEventArgs,SpeechError,SpeechSystemStatus
语法识别同Windows Store应用类似,依赖于实现设定好的SRGS文件,文件中定义了一系列语法规则用于语音识别。详见:Create Grammars Using SRGS XML
在你创建好SRGS文件后,将它放进StreamingAessets文件夹
![](https://img.haomeiwen.com/i6271428/e4542e3bc5cf7c75.png)
创建语法识别并把它传给你的SRGS文件
![](https://img.haomeiwen.com/i6271428/f0ee2603746b0c36.png)
注册OnPhraseRecognized事件
![](https://img.haomeiwen.com/i6271428/f6da5fcf6f9cd7c7.png)
![](https://img.haomeiwen.com/i6271428/38cea4cdd9e61c3c.png)
最后,开始识别
![](https://img.haomeiwen.com/i6271428/6bcc4a0356c87453.png)
听写识别
命名空间: UnityEngine.Windows.Speech
类型: DictationRecognizer, SpeechError, SpeechSystemStatus
听写特性用于将用户语音转为文字输入,同时支持内容推断和事件注册特性。Start()和Stop()方法用于启用和禁用听写功能,在听写结束后需要调用Dispose()方法来关闭听写页面。垃圾回收站会自动回收它的资源。
完整的使用方法如下:
创建如下DictationRecognizer,有以下四种
![](https://img.haomeiwen.com/i6271428/0816e87b1ba41435.png)
1. DictationResult
2. DictationComplete
3. DictationHypothesis
4. DictationError
听写结果(DictationResult)
用户暂停事件将被解除
首先订阅DictationHypothesis事件:
![](https://img.haomeiwen.com/i6271428/de9551992631b94e.png)
处理DictationHypothesis回调
![](https://img.haomeiwen.com/i6271428/caf16719351d8595.png)
听写假设(DictationHypothesis)
首先订阅DictationHypothesis事件:
![](https://img.haomeiwen.com/i6271428/eeca2dfc8a133beb.png)
处理DictationHypothesis回调
![](https://img.haomeiwen.com/i6271428/ee943ac0c0c7ab7a.png)
听写完成(DictationComplete)
当系统停止,事件将被解除,无论是stop()被启用,超时,或其他错误情况。
首先订阅DictationComplete事件:
![](https://img.haomeiwen.com/i6271428/4bd9d8d9507da658.png)
处理 DictationComplete回调
![](https://img.haomeiwen.com/i6271428/583cab2f75910d2b.png)
听写错误(DictationError)
当出现错误时,事件将被解除
首先订阅 DictationError 事件:
![](https://img.haomeiwen.com/i6271428/6177fbf19421e98f.png)
处理DictationError回调
![](https://img.haomeiwen.com/i6271428/1c5dfaad345aba10.png)
订阅和操作听写事件可以通过启用听写识别器接收事件。
![](https://img.haomeiwen.com/i6271428/13c81d0e8d34877f.png)
如果你不需要听写识别,你需要在事件中注销听写识别。
![](https://img.haomeiwen.com/i6271428/858ccef1b8c56c4e.png)
提醒: 1.start()和stop()方法分别代表启用和禁用听写识别。
2.在听写结束后需要调用Dispose()方法来关闭听写页面
3.以下情况中,听写识别会自动触发超时行为:
1). 如果在听写开始后第一个5秒内没听到任何声音,将会超时
2). 如果识别到了一个结果但是之后20秒没听到任何声音,也会超时
同时使用以上识别
如果你想同时在应用程序上使用短语识别和听写识别,那么一定要在完全关闭当前语音识别行为后再开始另一个识别动作。如果有多个KeywordRecognizer在运行,你可以使用如下代码一次性关闭它们:
![](https://img.haomeiwen.com/i6271428/75af0922fff6b896.png)
24.png(1.54 KB, 下载次数: 18)
2016-6-28 12:10 上传
为了从先前状态恢复所有识别器,可以在听写识别完成后调用下面的代码:
![](https://img.haomeiwen.com/i6271428/37fd68cccab501aa.png)
你也可以重新开始一个 KeywordRecognizer,这将会重启PhraseRecognitionSystem以达到上面的效果。
网友评论