解码器流程梳理及封装

一.前端业务

1.1 需要进行对前端的语音数据处理库进行再封装 , 与整理.

     目前前端库中集成了WEBRTC中的(ns, agc, aec ,vad),(vad)过零率, 3GPP(VAD), ini文件解析库,WAV文件封装与解析库

1.2 解码器前端入参,需要重新整理,然后一些固定的无需要调试的参数需要隐藏,而需要调试的参数将从配置文件中加载

1.3 其它(数据缓冲区的控制,数据BUF的大小处理等 )

二.解码器

1.1 解码效率

    无效的解码数据丢弃,解码流程精减,   解码图与模型的优化以加快解码.

     更换解码器等.

1.2 解码结果输出

    解码结果的可靠性等 .

三.后端处理业务

1.分词打分与不分词打分

基于目前的打分共有3种打分方式,  1.likehood,   2 .confidence   3.句子打分

1.1 每个分词对应于不同的分数  ;

1.2将不同的词组成对应所需要的业务词条整体打分;

1.3根据业务需要自定义打分策略.

2.基于分词的识别,所需要组词方案

2.1基本于基本的语法常识,来组词(如动宾,主谓等,形容词+名词)

 2.2基于关键词的分数来组词 

2.3 基于不同业务来打组词(如空调控制 ,灯光控制分开来组词)

2.4 其它如由事先组好的几种不同的组词方案,根据识别到的词条来过滤

2.5 其它

3.对外有业务接口

   UART,  I2C

3.1 是否需要先自定义一组交互协议,便于对接外部设备

3.2是否需要定义几种LED灯来显示板载状态

打赏作者