本申请涉及语音识别领域，特别是一种语音顺滑方法、装置、电子设备及计算机存储介质。
背景技术：
随着社会的发展，网上聊天方式也越来越多样化，语音输入以其方便快捷的特性受到了人们的青睐，在日常使用中，以微信为例，用户一般是在聊天窗口长按语音输入按钮开始说话，说完后松开按钮即可自动将语音条发送给当前的聊天对象。但当语音条中的无意义的内容较多时，如语气词、感叹词等，会大大增加用户将语音条听完的时长，双方交流会出现明显的延迟，大大降低了交流效率。
技术实现要素：
基于上述问题，本申请提出了一种语音顺滑方法、装置、服务器及计算机存储介质，可以删去语音中的冗余部分，在不影响语义的基础上减少语音条的时长，提高用户语音聊天的效率。
本申请实施例第一方面提供了一种语音顺滑方法，所述方法包括：
获取待顺滑的语音数据；
根据所述待顺滑的语音数据确定待顺滑的文本数据；
根据所述待顺滑的文本数据确定顺滑后的文本数据；
根据所述顺滑后的文本数据确定顺滑后的语音数据。
本申请实施例第二方面提供了一种语音顺滑装置，所述装置包括处理单元和通信单元，所述处理单元用于：获取待顺滑的语音数据；根据所述待顺滑的语音数据确定待顺滑的文本数据；对所述待顺滑的文本数据进行书面语识别确定顺滑后的文本数据；根据所述顺滑后的文本数据确定顺滑后的语音数据。
本申请实施例第三方面提供了一种电子设备，包括应用处理器、通信接口和存储器，所述应用处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器被配置用于调用所述程序指令，执行本申请实施例第一方面任一项所述的方法。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行本申请实施例第一方面任一项所述的方法。
本申请实施例第五方面提供了一种计算机产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
通过实施上述申请实施例，可以得到以下有益效果：
上述语音顺滑方法、装置、电子设备以及计算机存储介质，通过获取待顺滑的语音数据；根据所述待顺滑的语音数据确定待顺滑的文本数据；根据所述待顺滑的文本数据确定顺滑后的文本数据；根据所述顺滑后的文本数据确定顺滑后的语音数据。可以删去语音中的冗余部分，在不影响语义的基础上减少语音条的时长，提高用户语音聊天的效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的语音顺滑方法的系统架构图；
图2为本申请实施例提供的一种语音顺滑方法的流程示意图；
图3为本申请实施例提供的一种待顺滑的文本数据的示意图；
图4为本申请实施例提供的另一种语音顺滑方法的流程示意图；
图5为本申请实施例提供的一种电子设备的结构示意图；
图6为本申请实施例提供的一种语音顺滑装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(userequipment，ue)，移动台(mobilestation，ms)，终端设备(terminaldevice)等等。
下面结合图1对本申请实施例中语音顺滑方法的系统构架作详细说明，图1为本申请实施例提供的一种语音顺滑方法的系统构架图，包括语音采集装置110、服务器120以及顺滑输出装置130，其中，上述语音采集装置110可以包括多个麦克风阵列以采集到清晰准确的原始语音数据，并与服务器进行有线或无线连接，上述服务器120可以对上述原始语音数据进行顺滑处理，并输出顺滑后的语音数据至上述顺滑输出装置130，上述顺滑输出装置130可以包括音频输出单元和文字显示单元，用于输出顺滑后的语音数据以及对应的文字数据，上述顺滑输出装置130可以与上述服务器120有限或无线连接。
其中，上述语音采集装置110可以集成在当前发送语音的用户所使用的电子设备上，上述顺滑输出装置130可以集成在当前接收语音的用户所使用的电子设备上，服务器120可以将顺滑后的语音数据同步发送至上述两个用户的电子设备上，举例来说，用户a通过微信向用户b发送语音“那个我在嗯…学校大门口”，上述语音采集装置110可以采集到原始的语音数据，并发送至服务器120，服务器120可以对上述原始语音数据进行顺滑处理得到顺滑后的语音数据，并发送至用户a所使用的手机和用户b所使用的手机上，用户a和用户b都可以直接听到“我在学校大门口”这段顺滑后的语音数据。需要说明的是，本申请中的“语音顺滑”概念可以理解为将原始语音中的无意义片段删除，得到一段时间更短且保留正确的原始语义的语音。
通过上述系统架构，可以删去语音中的冗余部分，在不影响语义的基础上减少语音条的时长，提高用户语音聊天的效率。
下面结合图2对本申请实施例提供的一种语音顺滑方法作详细说明，图2为本申请实施例提供的一种语音顺滑方法的流程示意图，具体包括以下步骤：
步骤201，获取待顺滑的语音数据。
其中，可以通过语音获取装置，如若干声学传感器组成的麦克风阵列等来获取待顺滑的语音数据，上述待顺滑的语音数据可以为一段具备完整语义的语音数据；
可选的，上述待顺滑的语音数据可以为经过预处理的音频数据，上述预处理可以实现声源定位、去混响、语音增强、盲源分离等功能。
通过获取待顺滑的语音数据，可以为后续步骤做铺垫，减少顺滑错误的概率。
步骤202，根据所述待顺滑的语音数据确定待顺滑的文本数据。
其中，将上述待顺滑的语音数据转化为文本数据之后，该文本数据的每一种可能的顺滑路径都会形成一条对应的待顺滑的文本数据，上述待顺滑的文本数据可以是多条文本数据，上述顺滑路径可以用于表示对上述文本数据进行标记，被标记的部分可以表示应当删去的片段。举例来说，上述待顺滑的语音数据转化为的文本数据为“嗯我在那个黄鹤楼不对滕王阁”，此时可以存在两条顺滑路径，待顺滑的文本数据可以为“我在黄鹤楼”或“我在滕王阁”，上述两种删除文字的方法用于表示可能的顺滑路径，此时可以得到两条待顺滑的文本数据，上述两条待顺滑的文本数据的语义不同，第一种顺滑路径得到的待顺滑文本数据的语义为“我在黄鹤楼”，而第二种顺滑路径得到的待顺滑文本数据的语义为“我在滕王阁”，很明显语义完全不同，需要在后续步骤进行筛选。在此先对步骤202进行详细说明，具体如下：
其中，首先可以根据上述待顺滑的语音数据提取出语音特征；之后，将上述语音特征输入预先训练好的音频顺滑模型，根据该音频顺滑模型的输出得到待顺滑的文本数据。其中，上述语音特征可以包括感知线性预测(perceptuallinearprediction，plp)、梅尔频率倒谱系数(mel-frequencycepstralcoefficients，mfcc)、滤波器组特征(filterbank，fbank)等中的任意一项特征，可以通过对上述待顺滑的语音数据进行预处理得到上述语音特征，上述预处理可以包括分帧、加窗、傅里叶变换等，在此不再赘述。上述预先训练好的音频顺滑模型可以为神经网络模型，并且具备语义识别和文本顺滑的功能，上述训练好的音频顺滑模型的具体实现方式可以包括以下步骤：
首先，可以通过上述预先训练好的音频顺滑模型计算上述语音特征的识别概率分数，根据上述识别概率分数确定识别文本数据，上述识别概率分数用于表示上述语音数据的语义和上述基础文本内容的语义的匹配度；
计算上述识别文本数据的顺滑概率分数，根据上述顺滑概率分数确定上述识别文本数据的至少一条候选顺滑路径，上述顺滑概率分数用于表示上述文本内容中上述候选顺滑路径的准确度；
根据上述识别文本数据和上述至少一条候选顺滑路径确定上述待顺滑的文本数据。
具体的，上述预先训练好的音频顺滑模型可以包括识别模块和顺滑模块，上述识别模块可以识别多种形式的语音特征，并基于训练数据的不同进行调整，但一次只能识别一种语音特征，上述音频顺滑模型的识别模块可以获取每帧语音特征的识别概率分数，可以先通过计算后验概率分布数据，之后对后验概率分布数据进行维特比解码得到上述识别概率分数，并根据上述识别概率分数确定识别文本数据，上述识别文本数据为上述待顺滑的语音数据的文本识别结果；接着，上述顺滑模块可以根据上述识别文本数据计算后验概率分布数据，同样进行维特比解码确定顺滑概率分数，再通过顺滑概率分数确定上述识别文本数据的至少一条候选顺滑路径，最后根据上述候选顺滑路径和上述识别文本数据确定待顺滑的文本数据。
举例来说，语音为“那个明天再正心楼不对在诚意楼见面”，此时可以识别得到识别文本数据、候选顺滑路径以及待顺滑的文本数据等信息，如图3所示，图3为本申请实施例提供的一种待顺滑的文本数据的示意图：
上述顺滑模块根据顺滑概率分数得到了上述识别文本数据的三条候选顺滑路径，每条候选顺滑路径具有不同的顺滑标签，上述顺滑标签指对文字的三种分类，分别为可过滤词(fillerword)、可编辑词(editword)、其他词(otherword)。上述可过滤词指字串中无意义的停顿词、语气词等，上述可编辑词指字串中无意义的重复词、被说错然后又被纠正的词等，上述其他词指除“可过滤词”和“可编辑词”之外所有的有意义词。其中“可过滤词”与“可编辑词”均属于可以被删除的文字，“其他词”则属于不可删除的文字。
具体的，候选顺滑路径1中将识别文本数据中的“那个”标记为“可过滤词f”，将“在正心楼不对”标记为“可编辑词e”，将“明天在诚意楼见面”标记为“其他词o”；候选顺滑路径2中将识别文本数据中的“那个明天”标记为“可过滤词f”，将“在正心楼不对”标记为“可过滤词e”，将“明天在诚意楼见面”标记为“其他词o”；候选顺滑路径3中将识别文本数据中的“在正信楼不对”标记为“可过滤词e”，将“那个明天在诚意楼见面”标记为“其他词o”。上述其他词o的部分即为三条待顺滑的文本数据。
可选的，存在另一种方法确定待顺滑的文本数据，可以转换所述待顺滑的语音数据，得到所述待顺滑的语音数据的识别文本数据；对所述识别文本数据进行语义的顺滑程度分析，得到所述识别文本数据的顺滑程度分析结果；根据所述顺滑程度分析结果，确定所述识别文本数据中待顺滑的文本数据，上述顺滑程度分析结果可以是字与字之间的连贯性信息，完整的语句应当每个字之间都是连贯的，通过分析字与字之间的连贯性可以得到上述顺滑程度分析结果。
具体的，可以先确定所述识别文本数据的至少一个文本单元；之后，确定所述至少一个文本单元中每个文本单元与相邻文本单元的语义连续性，根据所述语义连续性确定所述每个文本单元的顺滑程度，所述至少一个文本单元的至少一个顺滑程度组成所述识别文本数据的顺滑程度分析结果。
通过根据所述待顺滑的语音数据确定待顺滑的文本数据，可以在文字层面先进行顺滑，提高音频顺滑的准确性。
步骤203，根据所述待顺滑的文本数据确定顺滑后的文本数据。
其中，可以根据所述待顺滑的文本数据确定至少一条书面语文本；接着，将上述至少一条书面语文本输入预先训练好的书面语模型，根据上述书面语模型的输出确定一条顺滑后的文本数据。
其中，上述待顺滑的文本数据的数量与上述书面语文本的数量相同，上述书面语模型可以包括基于统计方法的n-gram语言模型，或者基于深度学习的循环神经网络语言模型等，用于确定书面语文本的书面化程度和通顺程度，上述书面化程度和通顺程度可以根据无意义的重复词、语气词、停顿词以及说错的内容等在整个文本数据中的占比来判断。
具体的，可以通过上述预先训练好的书面语模型计算上述至少一条书面语文本的书面语分数，上述书面语分数用于表示上述至少一条书面语文本的书面化程度和通顺程度；
接着，可以根据上述书面语分数、上述识别概率分数和上述顺滑概率分数之和对上述至少一条书面语文本进行排序，选取分数之和最大的作为顺滑后的文本数据，分数之和最大则说明该文本数据识别最准确、顺滑最准确、书面化程度最高，上述分数之和可以用顺滑输出分数来表示。
举例来说，此处依然以图3中的示意图为例，根据三条待顺滑的文本数据，将顺滑标签为“e”、“f”的字删去，只保留顺滑标签为“o”的字，可以得到三条书面语文本分别为“明天在诚意楼见面”、“在诚意楼见面”和“那个明天再诚意楼见面”，之后通过上述训练好的书面语模型计算上述三条书面语文本的书面语分数，并根据上述识别概率分数、上述顺滑概率分数和上述书面语分数之后确定顺滑后的文本数据，候选顺滑路径1的顺滑后的文本数据“明天在诚意楼见面”与上述识别文本数据的真实语义相同；候选顺滑路径2的顺滑后的文本数据“在诚意楼见面”缺少了“明天”的关键时间信息，其语义与上述识别文本数据不同；候选顺滑路径3的顺滑后的文本数据“那个明天再诚意楼见面”虽然语义与上述识别文本数据相同，但多余的“那个”为口语化内容，整体书面化程度显然低于候选顺滑路径1中顺滑后的文本数据的书面化程度，综上，可以计算得到顺滑路径1的顺滑输出分数最大，顺滑路径1的顺滑后的文本数据即为最终的顺滑后的文本数据。
可见，在候选顺滑路径3和候选顺滑路径1的得分比较过程中，凸显了删除可删除词之后再计算书面语分数的重要性，表明本申请提出的书面语模型确实能够提升文本的顺滑效果。
通过根据所述待顺滑的文本数据确定顺滑后的文本数据，可以得到更加简洁且语义完整的文本数据，便于执行后续步骤。
步骤204，根据所述顺滑后的文本数据确定顺滑后的语音数据。
其中，首先，根据上述识别文本数据和上述待顺滑的语音数据确定文本-音频时间信息，上述文本-音频时间信息用于表示上述待顺滑的语音数据与上述待顺滑的文本数据的时间对应关系；接着，根据上述文本-音频时间信息和上述顺滑后的文本数据确定上述待顺滑的语音数据的音频顺滑路径，上述音频顺滑路径包括音频帧删除标签；最后，根据上述音频帧删除标签将上述语音数据组合，得到上述顺滑后的语音数据。
具体的，可以确定上述待顺滑的语音数据中每个字的起始时间戳和中止时间戳，并将每个字的起始时间戳和中止时间戳对应到待顺滑的文本数据中，如此可以确定顺滑后的文本数据的每个字的起始时间戳和中止时间戳，将顺滑后的每个字的文本-音频时间信息对应到待顺滑的语音数据上，可以得到音频顺滑路径，上述音频顺滑路径可以包括音频帧删除标签，该音频帧删除标签是顺滑标签“e”和顺滑标签“f”对应到音频数据中的表现形式，即将每个被标记为“e”和“f”的字的起始时间戳和中止时间戳对应到音频数据的时间戳中，如此可以通过上述音频帧删除标签可以确定待顺滑的语音数据中哪些位置是需要删除的，删除待顺滑的语音数据中被标记为“删除”状态的音频片段，并将剩余的音频片段重新连接得到顺滑后的语音数据。
需要说明的是，此处将剩余的音频片段重新连接的做法可以为直接将音频片段拼接，由于未对不同音频片段间的连接处做平滑处理，这种做法会使得拼接后的音频听起来不自然。所述平滑处理指通过某些技术手段将原本并不连接的音频片段拼接后听起来更顺畅，更自然。为了使顺滑后的音频听起来更自然，可以使用经典的拼接语音合成技术进行拼接处理，拼接语音合成技术为已有技术，此处不再赘述。当然，也可以拼接后再对拼接点周围的音频进行平滑处理，具体本申请不作限定。
通过根据所述顺滑后的文本数据确定顺滑后的语音数据，可以删去语音中的冗余部分，在不影响语义的基础上减少语音条的时长，提高用户语音聊天的效率。
下面结合图4对本申请实施例中另一种语音顺滑方法作详细说明，图4为本申请实施例提供的另一种语音顺滑方法的流程示意图，具体包括以下步骤：
步骤401，获取训练好的书面语模型和训练好的音频顺滑模型。
其中，本申请可以通过对n-gram语言模型进行大量的书面语数据训练获取到训练好的书面语模型，大量的书面语数据可以为已经进行了书面语部分标注的文本数据，通过书面语模型输出的书面语分数与书面语数据的标注进行对比得到对比结果，根据对比结果来进行训练直到对比结果的差值小于一定阈值为止；
关于获取训练好的音频顺滑模型，可以先收集大量获取训练用语音数据，该训练用语音数据可以为用户日常口语化交流的音频数据，如用户使用语音输入法app产生的音频数据，上述训练用语音数据包括顺滑标注信息，上述顺滑标注信息可以表示该训练用语音数据正确的顺滑路径，可以通过人工进行预先标注；另外，为保护用户隐私，需要对获得的数据进行匿名处理，抹除掉用户信息。
之后通过将所述训练用语音数据输入预设顺滑模型，根据所述预设顺滑模型的输出得到训练识别文本数据和训练音频顺滑数据；此处的训练用语音数据包括训练用语音特征，上述预设顺滑模型只是一个基础模型，可以包括识别模块和顺滑模块，上述识别模块可以为神经网络-隐马尔可夫(nn-hmm)语音识别模型，上述识别模块可以输出上述训练用语音数据的训练识别文本数据。
上述nn-hmm语音识别模型为已有技术，此处不再赘述。
上述顺滑模块可以为深层双向长短时记忆(long-shorttermmemory，lstm)循环神经网络，可以输出训练音频顺滑数据，上述预设顺滑模型的输出层分别对应上述识别模块的输出和上述顺滑模块的输出。
提取上述训练语音特征、识别文本数据和顺滑文本数据的特征序列，抽象表示为：
语音特征序列：x＝[x1,x2,...,x500]
顺滑特征序列：
识别特征序列：
其中x为上述训练用语音数据对应的语音特征序列，x中的每个元素对应一帧语音帧特征；t1为上述训练音频顺滑数据对应的顺滑特征序列，t1中的每个元素对应每帧语音特征对应的音频顺滑标签，其数值范围为(0～2)，0表示可编辑词、1表示可过滤词、2表示其他词，数值为0、1的都应当删去，只保留数值为2的部分作为最终的顺滑结果；t2为训练识别文本数据对应的识别特征序列，t2中的每个元素表示每帧语音特征对应的训练文本类别，数值范围为[0-n-1]，n为识别模块的建模单元个数。另外，可以用
将所述顺滑标注信息、所述训练识别文本数据和所述训练音频顺滑数据进行对比确定损失函数loss，所述损失函数loss包括顺滑损失函数和识别损失函数；
根据所述顺滑损失函数和所述识别损失函数对所述预设顺滑模型进行处理，具体计算公式为：
最后使用随机梯度下降算法即可优化上述预设顺滑模型的损失函数，重复上述训练步骤直到其损失函数小于预设阈值为止，可以得到训练好的音频顺滑模型。
通过获取训练好的书面语模型和训练好的音频顺滑模型，可以自动完成音频顺滑的步骤，大大提升了方便性和用户体验。
步骤402，获取待顺滑的语音数据。
步骤403，根据所述待顺滑的语音数据确定待顺滑的文本数据。
步骤404，根据所述待顺滑的文本数据确定顺滑后的文本数据。
步骤405，根据所述顺滑后的文本数据确定顺滑后的语音数据。
通过上述方法步骤，。可以删去语音中的冗余部分，在不影响语义的基础上减少语音条的时长，提高用户语音聊天的效率。
下面结合图5对本申请实施例中一种电子设备进行说明，图5为本申请实施例提供的一种电子设备的结构示意图，包括应用处理器501、通信接口502和存储器503，所述应用处理器501、通信接口502和存储器503通过总线504相互连接，总线504可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。总线504可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，所述存储器503用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器501被配置用于调用所述程序指令，执行以下步骤的方法：
获取待顺滑的语音数据；
根据所述待顺滑的语音数据确定待顺滑的文本数据；
根据所述待顺滑的文本数据确定顺滑后的文本数据；
根据所述顺滑后的文本数据确定顺滑后的语音数据。
在一个可能的示例中，在所述根据所述待顺滑的语音数据确定待顺滑的文本数据方面，所述程序中的指令具体用于执行以下操作：根据所述待顺滑的语音数据确定语音特征；
将所述语音特征输入预先训练好的音频顺滑模型，根据所述音频顺滑模型的输出得到待顺滑的文本数据。
在一个可能的示例中，在所述通过将所述语音特征输入预先训练好的音频顺滑模型，根据所述音频顺滑模型的输出得到所述待顺滑的文本数据方面，所述程序中的指令具体用于执行以下操作：通过所述预先训练好的音频顺滑模型计算所述语音特征的识别概率分数，根据所述识别概率分数确定识别文本数据，所述识别概率分数用于表示所述语音数据的语义和所述基础文本内容的语义的匹配度；
计算所述识别文本数据的顺滑概率分数，根据所述顺滑概率分数确定所述识别文本数据的至少一条候选顺滑路径，所述顺滑概率分数用于表示所述文本内容中所述候选顺滑路径的准确度；
根据所述识别文本数据和所述至少一条候选顺滑路径确定所述待顺滑的文本数据。
在一个可能的示例中，在所述根据所述待顺滑的文本数据确定顺滑后的文本数据方面，所述程序中的指令具体用于执行以下操作：根据所述待顺滑的文本数据确定至少一条书面语文本；
将所述至少一条书面语文本输入预先训练好的书面语模型，根据所述书面语模型的输出得到所述顺滑后的文本数据。
在一个可能的示例中，在所述将所述至少一条书面语文本输入预先训练好的书面语模型，根据所述书面语模型的输出得到所述顺滑后的文本数据方面，所述程序中的指令具体用于执行以下操作：通过所述预先训练好的书面语模型计算所述至少一条书面语文本的书面语分数，所述书面语分数用于表示所述至少一条书面语文本的书面化程度和通顺程度；
根据所述书面语分数、所述识别概率分数和所述顺滑概率分数对所述至少一条书面语文本进行排序，根据排序后的所述至少一条书面语文本确定顺滑后的文本数据，所述顺滑后的文本数据包括所述至少一条书面语文本中顺滑输出分数最大的书面语文本，所述顺滑输出分数是指所述书面语分数、所述识别概率分数和所述顺滑概率分数的和。
在一个可能的示例中，在所述根据所述顺滑后的文本数据确定顺滑后的语音数据方面，所述程序中的指令具体用于执行以下操作：根据所述识别文本数据和所述待顺滑的语音数据确定文本-音频时间信息，所述文本-音频时间信息用于表示所述待顺滑的语音数据与所述待顺滑的文本数据的时间对应关系；
根据所述文本-音频时间信息和所述顺滑后的文本数据确定所述待顺滑的语音数据的音频顺滑路径，所述音频顺滑路径包括音频帧删除标签；
根据所述音频帧删除标签将所述待顺滑的语音数据组合，得到所述顺滑后的语音数据。
在一个可能的示例中，在所述根据所述待顺滑的语音数据确定待顺滑的文本数据方面，所述程序中的指令具体还用于执行以下操作：转换所述待顺滑的语音数据，得到所述待顺滑的语音数据的识别文本数据；
对所述识别文本数据进行语义的顺滑程度分析，得到所述识别文本数据的顺滑程度分析结果；
根据所述顺滑程度分析结果，确定所述识别文本数据中待顺滑的文本数据。
在一个可能的示例中，在所述对所述识别文本数据进行语义的顺滑程度分析，得到所述识别文本数据的顺滑程度分析结果方面，所述程序中的指令具体还用于执行以下操作：确定所述识别文本数据的至少一个文本单元；
确定所述至少一个文本单元中每个文本单元与相邻文本单元的语义连续性，根据所述语义连续性确定所述每个文本单元的顺滑程度，所述至少一个文本单元的至少一个顺滑程度组成所述识别文本数据的顺滑程度分析结果。
在一个可能的示例中，在所述获取待顺滑的语音数据之前方面，所述程序中的指令具体还用于执行以下操作：获取训练用语音数据，所述训练用语音数据包括顺滑标注信息；
通过将所述训练用语音数据输入预设顺滑模型，根据所述预设顺滑模型的输出得到训练识别文本数据和训练音频顺滑数据；
将所述顺滑标注信息、所述训练识别文本数据和所述训练音频顺滑数据进行对比确定损失函数，所述损失函数包括顺滑损失函数和识别损失函数；
根据所述顺滑损失函数和所述识别损失函数对所述预设顺滑模型进行处理，得到训练好的音频顺滑模型。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图6是本申请实施例中所涉及的语音顺滑装置600的功能单元组成框图。该语音顺滑装置600应用于电子设备，所述装置包括处理单元601、通信单元602和存储单元603，其中，所述处理单元601，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元602来完成相应操作。下面进行详细说明。
所述处理单元601，用于获取待顺滑的语音数据；
根据所述待顺滑的语音数据确定待顺滑的文本数据；
根据所述待顺滑的文本数据确定顺滑后的文本数据；
根据所述顺滑后的文本数据确定顺滑后的语音数据。
在一个可能的示例中，在所述根据所述待顺滑的语音数据确定待顺滑的文本数据方面，所述处理单元601具体用于：根据所述待顺滑的语音数据确定语音特征；
将所述语音特征输入预先训练好的音频顺滑模型，根据所述音频顺滑模型的输出得到待顺滑的文本数据。
在一个可能的示例中，在所述通过将所述语音特征输入预先训练好的音频顺滑模型，根据所述音频顺滑模型的输出得到所述待顺滑的文本数据方面，所述处理单元601具体用于：通过所述预先训练好的音频顺滑模型计算所述语音特征的识别概率分数，根据所述识别概率分数确定识别文本数据，所述识别概率分数用于表示所述语音数据的语义和所述基础文本内容的语义的匹配度；
计算所述识别文本数据的顺滑概率分数，根据所述顺滑概率分数确定所述识别文本数据的至少一条候选顺滑路径，所述顺滑概率分数用于表示所述文本内容中所述候选顺滑路径的准确度；
根据所述识别文本数据和所述至少一条候选顺滑路径确定所述待顺滑的文本数据。
在一个可能的示例中，在所述根据所述待顺滑的文本数据确定顺滑后的文本数据方面，所述处理单元601具体用于：根据所述待顺滑的文本数据确定至少一条书面语文本；
将所述至少一条书面语文本输入预先训练好的书面语模型，根据所述书面语模型的输出得到所述顺滑后的文本数据。
在一个可能的示例中，在所述将所述至少一条书面语文本输入预先训练好的书面语模型，根据所述书面语模型的输出得到所述顺滑后的文本数据方面，所述处理单元601具体用于：通过所述预先训练好的书面语模型计算所述至少一条书面语文本的书面语分数，所述书面语分数用于表示所述至少一条书面语文本的书面化程度和通顺程度；
根据所述书面语分数、所述识别概率分数和所述顺滑概率分数对所述至少一条书面语文本进行排序，根据排序后的所述至少一条书面语文本确定顺滑后的文本数据，所述顺滑后的文本数据包括所述至少一条书面语文本中顺滑输出分数最大的书面语文本，所述顺滑输出分数是指所述书面语分数、所述识别概率分数和所述顺滑概率分数的和。
在一个可能的示例中，在所述根据所述顺滑后的文本数据确定顺滑后的语音数据方面，所述处理单元601具体用于：根据所述识别文本数据和所述待顺滑的语音数据确定文本-音频时间信息，所述文本-音频时间信息用于表示所述待顺滑的语音数据与所述待顺滑的文本数据的时间对应关系；
根据所述文本-音频时间信息和所述顺滑后的文本数据确定所述待顺滑的语音数据的音频顺滑路径，所述音频顺滑路径包括音频帧删除标签；
根据所述音频帧删除标签将所述待顺滑的语音数据组合，得到所述顺滑后的语音数据。
在一个可能的示例中，在所述根据所述待顺滑的语音数据确定待顺滑的文本数据方面，所述处理单元601具体用于：转换所述待顺滑的语音数据，得到所述待顺滑的语音数据的识别文本数据；
对所述识别文本数据进行语义的顺滑程度分析，得到所述识别文本数据的顺滑程度分析结果；
根据所述顺滑程度分析结果，确定所述识别文本数据中待顺滑的文本数据。
在一个可能的示例中，在所述对所述识别文本数据进行语义的顺滑程度分析，得到所述识别文本数据的顺滑程度分析结果方面，所述处理单元601具体用于：确定所述识别文本数据的至少一个文本单元；
确定所述至少一个文本单元中每个文本单元与相邻文本单元的语义连续性，根据所述语义连续性确定所述每个文本单元的顺滑程度，所述至少一个文本单元的至少一个顺滑程度组成所述识别文本数据的顺滑程度分析结果。
在一个可能的示例中，在所述获取待顺滑的语音数据之前方面，所述处理单元601具体用于：获取训练用语音数据，所述训练用语音数据包括顺滑标注信息；
通过将所述训练用语音数据输入预设顺滑模型，根据所述预设顺滑模型的输出得到训练识别文本数据和训练音频顺滑数据；
将所述顺滑标注信息、所述训练识别文本数据和所述训练音频顺滑数据进行对比确定损失函数，所述损失函数包括顺滑损失函数和识别损失函数；
根据所述顺滑损失函数和所述识别损失函数对所述预设顺滑模型进行处理，得到训练好的音频顺滑模型。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-onlymemory，简称：rom)、随机存取器(英文：randomaccessmemory，简称：ram)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
技术特征：
1.一种语音顺滑方法，其特征在于，所述方法包括：
获取待顺滑的语音数据；
根据所述待顺滑的语音数据确定待顺滑的文本数据；
根据所述待顺滑的文本数据确定顺滑后的文本数据；
根据所述顺滑后的文本数据确定顺滑后的语音数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待顺滑的语音数据确定待顺滑的文本数据，包括：
根据所述待顺滑的语音数据确定语音特征；
将所述语音特征输入预先训练好的音频顺滑模型，根据所述音频顺滑模型的输出得到待顺滑的文本数据。
3.根据权利要求2所述的方法，其特征在于，所述通过将所述语音特征输入预先训练好的音频顺滑模型，根据所述音频顺滑模型的输出得到所述待顺滑的文本数据，包括：
通过所述预先训练好的音频顺滑模型计算所述语音特征的识别概率分数，根据所述识别概率分数确定识别文本数据；
计算所述识别文本数据的顺滑概率分数，根据所述顺滑概率分数确定所述识别文本数据的至少一条候选顺滑路径；
根据所述识别文本数据和所述至少一条候选顺滑路径确定所述待顺滑的文本数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述待顺滑的文本数据确定顺滑后的文本数据，包括：
根据所述待顺滑的文本数据确定至少一条书面语文本；
将所述至少一条书面语文本输入预先训练好的书面语模型，根据所述书面语模型的输出得到所述顺滑后的文本数据。
5.根据权利要求4所述的方法，其特征在于，所述将所述至少一条书面语文本输入预先训练好的书面语模型，根据所述书面语模型的输出得到所述顺滑后的文本数据，包括：
通过所述预先训练好的书面语模型计算所述至少一条书面语文本的书面语分数；
根据所述书面语分数、所述识别概率分数和所述顺滑概率分数对所述至少一条书面语文本进行排序，根据排序后的所述至少一条书面语文本确定顺滑后的文本数据，所述顺滑后的文本数据包括所述至少一条书面语文本中顺滑输出分数最大的书面语文本，所述顺滑输出分数是指所述书面语分数、所述识别概率分数和所述顺滑概率分数的和。
6.根据权利要求5所述的方法，其特征在于，所述根据所述顺滑后的文本数据确定顺滑后的语音数据，包括：
根据所述识别文本数据和所述待顺滑的语音数据确定文本-音频时间信息，所述文本-音频时间信息用于表示所述待顺滑的语音数据与所述待顺滑的文本数据的时间对应关系；
根据所述文本-音频时间信息和所述顺滑后的文本数据确定所述待顺滑的语音数据的音频顺滑路径，所述音频顺滑路径包括音频帧删除标签；
根据所述音频帧删除标签将所述待顺滑的语音数据组合，得到所述顺滑后的语音数据。
7.根据权利要求1所述的方法，其特征在于，所述根据所述待顺滑的语音数据确定待顺滑的文本数据，包括：
转换所述待顺滑的语音数据，得到所述待顺滑的语音数据的识别文本数据；
对所述识别文本数据进行语义的顺滑程度分析，得到所述识别文本数据的顺滑程度分析结果；
根据所述顺滑程度分析结果，确定所述识别文本数据中待顺滑的文本数据。
8.根据权利要求7所述的方法，其特征在于，所述对所述识别文本数据进行语义的顺滑程度分析，得到所述识别文本数据的顺滑程度分析结果，包括：
确定所述识别文本数据的至少一个文本单元；
确定所述至少一个文本单元中每个文本单元与相邻文本单元的语义连续性，根据所述语义连续性确定所述每个文本单元的顺滑程度，所述至少一个文本单元的至少一个顺滑程度组成所述识别文本数据的顺滑程度分析结果。
9.根据权利要求1～8任一项所述的方法，其特征在于，所述获取待顺滑的语音数据之前，所述方法还包括：
获取训练用语音数据，所述训练用语音数据包括顺滑标注信息；
通过将所述训练用语音数据输入预设顺滑模型，根据所述预设顺滑模型的输出得到训练识别文本数据和训练音频顺滑数据；
将所述顺滑标注信息、所述训练识别文本数据和所述训练音频顺滑数据进行对比确定损失函数，所述损失函数包括顺滑损失函数和识别损失函数；
根据所述顺滑损失函数和所述识别损失函数对所述预设顺滑模型进行处理，得到训练好的音频顺滑模型。
10.一种语音顺滑装置，其特征在于，所述装置包括处理单元和通信单元，所述处理单元用于：获取待顺滑的语音数据；根据所述待顺滑的语音数据确定待顺滑的文本数据；对所述待顺滑的文本数据进行书面语识别确定顺滑后的文本数据；根据所述顺滑后的文本数据确定顺滑后的语音数据。
11.一种电子设备，其特征在于，包括应用处理器、通信接口和存储器，所述应用处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器被配置用于调用所述程序指令，执行如权利要求1～9任一项所述的方法。
12.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～9任一项所述的方法。
技术总结
本申请提供了一种语音顺滑方法、装置、电子设备以及计算机存储介质，通过获取待顺滑的语音数据；根据所述待顺滑的语音数据确定待顺滑的文本数据；根据所述待顺滑的文本数据确定顺滑后的文本数据；根据所述顺滑后的文本数据确定顺滑后的语音数据。可以删去语音中的冗余部分，在不影响语义的基础上减少语音条的时长，提高用户语音聊天的效率。
技术研发人员：熊世富;潘嘉;高建清;刘聪;胡国平
受保护的技术使用者：科大讯飞股份有限公司
技术研发日：.10.09
技术公布日：.02.28
