在VR场景中我想把语音转为文字，使用起来更高大上一点儿，于是，我翻遍了目前用的比较多的集中SDK：科大讯飞，百度语音，微软TTS，亲加通讯
其中，亲加通讯和百度的SDK主要是面对移动端，TTS主要面对Windows，科大讯飞移动端桌面端都有。
我是想用到Oculus中的，所以要选用windows，然后困难就来了。。
讯飞的桌面SDK是用C语言写的，想用到unity里面对于我这种一点儿C都不会的太难了，TTS没怎么研究，但是感觉蛮复杂的，然后经过我百般摸索，发现百度语音不光有移动端，还有REST，使用HTTP请求来使用的，不限平台！
于是，我就决定采用百度的REST方式来实现语音转为文字。
这个是使用文档 自己看一下，下面我们直接上代码
在unity中新建一个脚本
private string token; //access_token
private string cuid = "你自己随便写一个用户标识"; //用户标识
private string format = "wav"; //语音格式
private int rate = 8000; //采样率
private int channel = 1; //声道数
private string speech; //语音数据，进行base64编码
private int len; //原始语音长度
private string lan = "zh"; //语种
private string grant_Type = "client_credentials";
private string client_ID = "你的百度appkey"; //百度appkey
private string client_Secret = "你的百度SecretKey"; //百度Secret Key
private string baiduAPI = "http://vop.baidu.com/server_api";
private string getTokenAPIPath = "https://openapi.baidu.com/oauth/2.0/token";
private Byte[] clipByte;
/// <summary>
/// 转换出来的TEXT
/// </summary>
public static string audioToString;
private AudioSource aud;
private int audioLength;//录音的长度
以上是需要声明的变量。其中AppID和SecretKey需要你注册成为百度的开发者，然后再应用管理中去看
继续代码：
/// <summary>
/// 获取百度用户令牌
/// </summary>
/// <param name="url">获取的url</param>
/// <returns></returns>
private IEnumerator GetToken(string url)
{
WWWForm getTForm = new WWWForm();
getTForm.AddField("grant_type", grant_Type);
getTForm.AddField("client_id", client_ID);
getTForm.AddField("client_secret", client_Secret);
WWW getTW = new WWW(url, getTForm);
yield return getTW;
if (getTW.isDone)
{
if (getTW.error == null)
{
token = JsonMapper.ToObject(getTW.text)["access_token"].ToString();
StartCoroutine(GetAudioString(baiduAPI));
}
else
Debug.LogError(getTW.error);
}
}
上面这段代码是获取百度的Token，有Token才有权使用API。
然后是发送转换请求的方法：
/// <summary>
/// 把语音转换为文字
/// </summary>
/// <param name="url"></param>
/// <returns></returns>
private IEnumerator GetAudioString(string url)
{
JsonWriter jw = new JsonWriter();
jw.WriteObjectStart();
jw.WritePropertyName("format");
jw.Write(format);
jw.WritePropertyName("rate");
jw.Write(rate);
jw.WritePropertyName("channel");
jw.Write(channel);
jw.WritePropertyName("token");
jw.Write(token);
jw.WritePropertyName("cuid");
jw.Write(cuid);
jw.WritePropertyName("len");
jw.Write(len);
jw.WritePropertyName("speech");
jw.Write(speech);
jw.WriteObjectEnd();
WWW getASW = new WWW(url, Encoding.Default.GetBytes(jw.ToString()));
yield return getASW;
if (getASW.isDone)
{
if (getASW.error == null)
{
JsonData getASWJson = JsonMapper.ToObject(getASW.text);
if (getASWJson["err_msg"].ToString() == "success.")
{
audioToString = getASWJson["result"][0].ToString();
if (audioToString.Substring(audioToString.Length - 1) == "，")
audioToString = audioToString.Substring(0, audioToString.Length - 1);
Debug.Log(audioToString);
}
}
else
{
Debug.LogError(getASW.error);
}
}
}
注意，这里不能用WWWForm的AddField方法去上传参数，否则会返回错误3300，也就是参数错误，我就是在这卡住了很长时间。。
好了，现在就可以把一段语音转换成文字然后返回到audioToString这个字符串了
然后是用unity录音,这个脚本在之前的文章中写过，下面在写一遍
private void Awake()
{
if (GetComponent<AudioSource>() == null)
aud = gameObject.AddComponent<AudioSource>();
else
aud = gameObject.GetComponent<AudioSource>();
aud.playOnAwake = false;
}
/// <summary>
/// 开始录音
/// </summary>
public void StartMic()
{
if (Microphone.devices.Length == 0) return;
Microphone.End(null);
Debug.Log("Start");
aud.clip = Microphone.Start(null, false, 10, rate);
}
/// <summary>
/// 结束录音
/// </summary>
public void EndMic()
{
int lastPos = Microphone.GetPosition(null);
if (Microphone.IsRecording(null))
audioLength = lastPos / rate;//录音时长
else
audioLength = 10;
Debug.Log("Stop");
Microphone.End(null);
clipByte = GetClipData();
len = clipByte.Length;
speech = Convert.ToBase64String(clipByte);
StartCoroutine(GetToken(getTokenAPIPath));
}
/// <summary>
/// 把录音转换为Byte[]
/// </summary>
/// <returns></returns>
public Byte[] GetClipData()
{
if (aud.clip == null)
{
Debug.LogError("录音数据为空");
return null;
}
float[] samples = new float[aud.clip.samples];
aud.clip.GetData(samples, 0);
Byte[] outData = new byte[samples.Length * 2];
int rescaleFactor = 32767; //to convert float to Int16
for (int i = 0; i < samples.Length; i++)
{
short temshort = (short)(samples[i] * rescaleFactor);
Byte[] temdata = System.BitConverter.GetBytes(temshort);
outData[i * 2] = temdata[0];
outData[i * 2 + 1] = temdata[1];
}
if (outData == null || outData.Length <= 0)
{
Debug.LogError("录音数据为空");
return null;
}
return outData;
}
然后再添加一下测试的代码：
private void OnGUI()
{
if (GUILayout.Button("Start"))
StartMic();
if (GUILayout.Button("End"))
EndMic();
}
public Text debugText;
private void Update()
{
debugText.text = audioToString;
}
整个脚本就完成了，然后把脚本挂到场景中一个物体上，再建一个Text,拖到debugText上，运行起来，点Start，说一句话，说完再点End，就会把说的话转成语音输出到debugText上
我觉得这个方法还是比较简单的，只是必须要联网才行，不过我们这个程序是要登陆注册才能进去的，所以不存在不联网的问题，大家可以参考参考，有好的意见可以提出来共同提高
网友评论