3D虛擬現實言語康復系統檢視原始碼討論檢視歷史

來自 搜狐網 的圖片

3D虛擬現實言語康復系統很多聽障兒童由於聽力障礙造成言語的缺失，嚴重影響其認知能力、思維能力的發展，最終將影響其情感和智力的發育。

技術要點

很多聽障兒童由於聽力障礙造成言語的缺失，嚴重影響其認知能力、思維能力的發展，最終將影響其情感和智力的發育。而研究表明聽障兒童的發音器官是正常的，所以只要對其進行聽力補償並及時進行科學的言語康復，就能讓他們走出無聲世界，進入有聲世界。應用技術層面我們針對國內外語音設備的不足，訓練條件有限的現狀，於是我們利用三維運動捕捉系統建立相應三維模型，將數據傳輸，加密，音頻解析等技術結合，開發出 「基於移動互聯網、PC 及 VR 設備的聽障兒童言語康復訓練系統」。

本設備有移動端，PC 端及 VR 端的軟件，移動端可以使用戶登錄後系統自動進入三維頭像模擬發音訓練模塊，系統播放三維頭像發音動畫，用戶反覆訓練，並且具有實時反饋訓練情況的語音識別技術，將數據保存上傳到雲端，能夠達到實時監測的情況。用戶群體主要受眾是0-6歲兒童，因為0-6 歲是幼兒言語能力發展的關鍵期。項目願景是藉助多媒體、仿真、虛擬現實等技術在計算機上營造可輔助聽障兒童發音康復訓練的方式進行開發。通過運動捕捉技術捕捉真實的面部表情信息，建立三維特徵點信息與三維面部模型映射關係，完成了對口型、範例發音的採集、訓練過程，在三維遊戲引擎中營造出不同的訓練場景，利用先進的手勢識別技術，完成人機交互的選擇訓練內容方式，使得聽障兒童可以很好地接受治療。

應用前景

無論是從社會、技術、市場容量和經濟各個方面都體現出了該產品具有良好的市場價值。此項目的社會效益巨大，惠及百萬聽障兒童及其家庭。我們項目產品順應民意，響應國家號召，爭取讓聽障兒童早日恢復語言功能，讓他們告別無聲的世界！已經初步具備一套完整的產品體系，並且在本校特殊教育學院多次測試，剛完成了上一階段的上機測試，成效良好。其中，對特教同學0-6歲的兄弟姐妹受眾群體進行了言語康復訓練，反饋效果良好。