本發(fā)明涉及教學(xué)效果智能評估，具體是指基于人工智能的外語教學(xué)效果評估方法及系統(tǒng)。

背景技術(shù)：

1、隨著人工智能技術(shù)的發(fā)展，特別是在自然語言處理、語音識別和機器學(xué)習(xí)的突破，為構(gòu)建更加智能化、自動化和精準(zhǔn)的教學(xué)效果評估系統(tǒng)提供了可能。目前，在外語教學(xué)效果評估中，教學(xué)效果評估方法在評估發(fā)音清晰度、準(zhǔn)確性與語流連貫性方面精度不足，且在多噪聲環(huán)境下易受干擾；同時，傳統(tǒng)評估方法對學(xué)習(xí)行為、成績與語音的多模態(tài)特征的處理方式單一、融合機制固定，難以滿足個性化和高精度評估需求。

技術(shù)實現(xiàn)思路

1、針對上述情況，為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了基于人工智能的外語教學(xué)效果評估方法及系統(tǒng)，針對傳統(tǒng)語音特征提取過程中無法準(zhǔn)確量化發(fā)音清晰度、發(fā)音正確性及語流連貫性的問題，本方案通過譜減法降噪與短時能量及共振峰差分析構(gòu)建發(fā)音清晰度復(fù)合指數(shù)、基于聲學(xué)模型與語言模型概率耦合計算聲學(xué)語義耦合度，以及利用幀級梅爾頻率倒譜系數(shù)及其一、二階差分構(gòu)造音素特征向量評估音素轉(zhuǎn)移穩(wěn)定性，從而能夠在多噪聲環(huán)境下精確量化語音的清晰度、準(zhǔn)確性與連貫性；針對傳統(tǒng)外語教學(xué)評估方法各模態(tài)特征孤立處理、融合方式單一且權(quán)重固定，難以挖掘?qū)W習(xí)行為、成績與語音的深層依賴，也易受噪聲干擾且無法滿足個性化需求的問題，本方案通過統(tǒng)一映射異構(gòu)模態(tài)特征到潛在空間消除尺度差異，引入同模態(tài)自注意力深入捕獲內(nèi)部依賴，再利用全互聯(lián)跨模態(tài)交叉注意力實現(xiàn)多模態(tài)信息雙向交互，并通過互補門控機制自適應(yīng)調(diào)節(jié)同跨模態(tài)融合比例，結(jié)合輕量子網(wǎng)絡(luò)快速生成局部評分、元決策網(wǎng)絡(luò)動態(tài)分配個性化權(quán)重，最終以可微分加權(quán)策略端到端優(yōu)化，實現(xiàn)精細度和準(zhǔn)確性的教學(xué)效果評估。

2、本發(fā)明采取的技術(shù)方案如下：基于人工智能的外語教學(xué)效果評估方法，該方法包括以下步驟：

3、步驟s1：數(shù)據(jù)采集；

4、步驟s2：語音特征提??；

5、步驟s3：多模態(tài)融合評估建模；

6、步驟s4：教學(xué)效果評估。

7、進一步地，在步驟s1中，所述數(shù)據(jù)采集，具體是采集外語學(xué)習(xí)者的外語閱讀語音數(shù)據(jù)、外語學(xué)習(xí)行為數(shù)據(jù)和外語考試成績數(shù)據(jù)；所述外語學(xué)習(xí)行為數(shù)據(jù)包括學(xué)習(xí)時長、學(xué)習(xí)頻率和學(xué)習(xí)任務(wù)完成率；所述外語考試成績數(shù)據(jù)包括外語詞匯考試成績、外語閱讀理解考試成績、外語聽力考試成績。

8、進一步地，在步驟s2中，所述語音特征提取，具體包括以下內(nèi)容：

9、步驟s21：標(biāo)準(zhǔn)化處理，對原始語音信號進行標(biāo)準(zhǔn)化處理，采用譜減法去除背景噪聲，基于短時能量與過零率的語音活動檢測并截取有效語音段，補償高頻衰減，隨后，將預(yù)處理后的信號分成短時幀，并對每幀施加漢明窗；

10、步驟s22：發(fā)音清晰度評估，具體包括以下步驟：

11、步驟s221：對語音短時能量進行歸一化，得到歸一化短時能量；

12、步驟s222：利用線性預(yù)測編碼方法提取前3階共振峰頻率，然后歸一化第2與第3共振峰頻率差；

13、步驟s223：將能量譜與共振峰差結(jié)合，評估發(fā)音清晰度；

14、步驟s23：計算聲學(xué)語義耦合度，首先對語音信號進行轉(zhuǎn)寫，得到詞序列，并利用發(fā)音詞典將每個詞映射為對應(yīng)的音素序列；然后對齊音素和詞，先用強制對齊工具得到音素與詞的對應(yīng)關(guān)系，然后用聲學(xué)模型輸出音素的概率，用預(yù)訓(xùn)練語言模型輸出對詞的概率，最后對齊聲學(xué)模型與語言模型概率，生成聲學(xué)語義耦合度；

15、步驟s24：計算音素轉(zhuǎn)移穩(wěn)定性指數(shù)，首先構(gòu)造音素的聲學(xué)特征向量，將每個音素用音素包含的所有幀的平均梅爾頻率倒譜系數(shù)、一階差分系數(shù)和二階差分系數(shù)組合成聲學(xué)特征向量，然后評估相鄰音素特征之間的平穩(wěn)過渡程度，生成音素轉(zhuǎn)移穩(wěn)定性指數(shù)；

16、步驟s25：生成最終語音特征向量。

17、進一步地，在步驟s3中，所述多模態(tài)融合評估建模，具體包括以下步驟：

18、步驟s31：數(shù)據(jù)準(zhǔn)備，將外語學(xué)習(xí)行為數(shù)據(jù)：學(xué)習(xí)時長、學(xué)習(xí)頻率、學(xué)習(xí)任務(wù)完成率，組合成學(xué)習(xí)行為特征向量；將外語考試成績數(shù)據(jù)：外語詞匯考試成績、外語閱讀理解考試成績、外語聽力考試成績，組合成學(xué)習(xí)成績特征向量；再獲取最終語音向量vfin；生成教學(xué)效果評估源數(shù)據(jù)；

19、步驟s32：模態(tài)特征統(tǒng)一映射，將異構(gòu)特征同步映射到統(tǒng)一潛空間；

20、步驟s33：同模態(tài)自注意力計算，在同模態(tài)內(nèi)使用自注意力，挖掘內(nèi)部特征間的依賴關(guān)系；

21、步驟s34：跨模態(tài)注意力融合，采用全互聯(lián)交叉注意力結(jié)構(gòu)，使每個模態(tài)同時與所有其他模態(tài)進行信息交換；

22、步驟s35：生成動態(tài)門控向量，引入互補門控機制，依據(jù)原始與跨模態(tài)表示共同學(xué)習(xí)自適應(yīng)權(quán)重，控制信息融合比例；

23、步驟s36：特征融合表示，設(shè)計可微分加權(quán)融合，將同模態(tài)與跨模態(tài)特征按門控系數(shù)融合；

24、步驟s37：局部評分，為每個模態(tài)設(shè)計輕量子網(wǎng)絡(luò)并引入非線性映射，將融合特征轉(zhuǎn)換為評估分值；

25、步驟s38：決策權(quán)重自適應(yīng)計算，構(gòu)建元決策網(wǎng)絡(luò)，將局部評分與學(xué)習(xí)成績特征向量一同輸入，生成融合權(quán)重；

26、步驟s39：生成最終模型，利用最終評分決策權(quán)重加權(quán)局部評分得到整體評分，生成多模態(tài)融合評估模型。

27、進一步地，在步驟s4中，所述教學(xué)效果評估，具體是獲取外語教學(xué)效果評估用戶的外語閱讀語音數(shù)據(jù)、外語學(xué)習(xí)行為數(shù)據(jù)和外語考試成績數(shù)據(jù)，先對數(shù)據(jù)進行語音特征提取，然后將數(shù)據(jù)輸入多模態(tài)融合評估模型，所述多模態(tài)融合評估模型輸出用戶的外語能力綜合評估得分，得分范圍為0至1，得分值越高表示外語教學(xué)效果越好。

28、本發(fā)明提供的基于人工智能的外語教學(xué)效果評估系統(tǒng)，包括數(shù)據(jù)采集模塊、語音特征提取模塊、多模態(tài)融合評估建模模塊和教學(xué)效果評估模塊；

29、所述數(shù)據(jù)采集模塊，采集外語學(xué)習(xí)者的外語閱讀語音數(shù)據(jù)、外語學(xué)習(xí)行為數(shù)據(jù)和外語考試成績數(shù)據(jù)，并將數(shù)據(jù)發(fā)送至語音特征提取模塊和多模態(tài)融合評估建模模塊；

30、所述語音特征提取模塊，接收數(shù)據(jù)采集模塊發(fā)送的數(shù)據(jù)，通過對外語閱讀語音數(shù)據(jù)進行標(biāo)準(zhǔn)化處理、發(fā)音清晰度評估、計算聲學(xué)語義耦合度和計算音素轉(zhuǎn)移穩(wěn)定性指數(shù)，生成最終語音特征向量，并將數(shù)據(jù)發(fā)送至多模態(tài)融合評估建模模塊；

31、所述多模態(tài)融合評估建模模塊，接收數(shù)據(jù)采集模塊和語音特征提取模塊發(fā)送的數(shù)據(jù)，將學(xué)習(xí)行為、成績及語音的多模態(tài)特征映射到統(tǒng)一潛空間，通過自注意力和跨模態(tài)注意力融合并借助動態(tài)門控與元決策網(wǎng)絡(luò)自適應(yīng)加權(quán)，將多模態(tài)特征轉(zhuǎn)換為局部評分，生成外語能力綜合評估得分，并將數(shù)據(jù)發(fā)送至教學(xué)效果評估模塊；

32、所述教學(xué)效果評估模塊，接收多模態(tài)融合評估建模模塊發(fā)送的數(shù)據(jù)，利用多模態(tài)融合評估模型，輸出外語教學(xué)效果評估用戶的外語能力綜合評估得分，得分范圍為0至1，得分值越高表示外語教學(xué)效果越好。

33、采用上述方案本發(fā)明取得的有益效果如下：

34、(1)針對傳統(tǒng)語音特征提取過程中無法準(zhǔn)確量化發(fā)音清晰度、發(fā)音正確性及語流連貫性的問題，本方案通過譜減法降噪與短時能量及共振峰差分析構(gòu)建發(fā)音清晰度復(fù)合指數(shù)、基于聲學(xué)模型與語言模型概率耦合計算聲學(xué)語義耦合度，以及利用幀級梅爾頻率倒譜系數(shù)及其一、二階差分構(gòu)造音素特征向量評估音素轉(zhuǎn)移穩(wěn)定性，從而能夠在多噪聲環(huán)境下精確量化語音的清晰度、準(zhǔn)確性與連貫性，顯著提升外語教學(xué)評估的客觀性、可靠性和適用性。

35、(2)針對傳統(tǒng)外語教學(xué)評估方法各模態(tài)特征孤立處理、融合方式單一且權(quán)重固定，難以挖掘?qū)W習(xí)行為、成績與語音的深層依賴，也易受噪聲干擾且無法滿足個性化需求的問題，本方案通過統(tǒng)一映射異構(gòu)模態(tài)特征到潛在空間消除尺度差異，引入同模態(tài)自注意力深入捕獲內(nèi)部依賴，再利用全互聯(lián)跨模態(tài)交叉注意力實現(xiàn)多模態(tài)信息雙向交互，并通過互補門控機制自適應(yīng)調(diào)節(jié)同跨模態(tài)融合比例，結(jié)合輕量子網(wǎng)絡(luò)快速生成局部評分、元決策網(wǎng)絡(luò)動態(tài)分配個性化權(quán)重，最終以可微分加權(quán)策略端到端優(yōu)化，從而顯著提升評估精細度和準(zhǔn)確性，增強了系統(tǒng)的適應(yīng)性、實時性和解釋性，為個性化外語能力測評提供了更加全面、可靠的技術(shù)支撐。