聽見智能會(huì)議系統(tǒng)建設(shè)方案安徽聽見科技有限公司2017年1月

目錄TOC\o"1-4"\h\z\u1. 項(xiàng)目概述 11.1. 建設(shè)背景 11.2. 建設(shè)重要性 12. 建設(shè)內(nèi)容及目標(biāo) 13. 產(chǎn)品施工條件 24. 建設(shè)方案 24.1. 系統(tǒng)概述 24.2. 軟件詳細(xì)配置 44.2.1. 中文語音轉(zhuǎn)寫引擎 44.2.2. 應(yīng)用系統(tǒng)基本功能 44.2.2.1. 用戶管理 54.2.2.2. 音頻采集處理 54.2.2.3. 實(shí)時(shí)語音轉(zhuǎn)寫 54.2.2.4. 歷史語音轉(zhuǎn)寫 54.2.2.5. 內(nèi)容編輯 64.2.2.6. 效果優(yōu)化 74.2.2.7. 內(nèi)容展示 74.2.2.8. 內(nèi)容管理 84.2.2.9. 全文檢索 84.3. 硬件設(shè)備配置 94.3.1. 一體式智能會(huì)議主機(jī) 94.3.2. 應(yīng)用端主控電腦 105. 項(xiàng)目報(bào)價(jià) 10項(xiàng)目概述建設(shè)背景隨著信息時(shí)代的到來，海量語音的獲取和存儲(chǔ)能力愈發(fā)強(qiáng)大，基于會(huì)議辦公的實(shí)際場(chǎng)景，會(huì)存在需要大量的人力投入、工作效率不高的情況、語音技術(shù)在會(huì)議場(chǎng)景中的應(yīng)用質(zhì)量和效果不高。因此，結(jié)合會(huì)議會(huì)務(wù)場(chǎng)景對(duì)語音技術(shù)的實(shí)際應(yīng)用需求，開展了基于會(huì)議場(chǎng)景下的語音技術(shù)應(yīng)用關(guān)鍵技術(shù)研究，突破語音合成、語音識(shí)別、語音轉(zhuǎn)寫等核心技術(shù)，提升語音技術(shù)在會(huì)議會(huì)務(wù)場(chǎng)景中的應(yīng)用水平，切實(shí)提升日常會(huì)議辦公的工作效率和效果。建設(shè)重要性語音識(shí)別（SpeechRecognize）技術(shù)，是讓機(jī)器通過識(shí)別和理解過程使之聽懂人類語言的技術(shù)。語音識(shí)別技術(shù)是信息技術(shù)中人機(jī)交互的關(guān)鍵技術(shù)，目前已經(jīng)在呼叫中心、電信增值業(yè)務(wù)、企業(yè)信息化系統(tǒng)中有了廣泛的應(yīng)用。隨著語音識(shí)別在語音搜索、語音控制等全新應(yīng)用領(lǐng)域的深入應(yīng)用，語音識(shí)別技術(shù)被業(yè)界權(quán)威人士譽(yù)為有可能引發(fā)人機(jī)界面領(lǐng)域革命的關(guān)鍵技術(shù)。近年來，語音識(shí)別技術(shù)取得了長足的進(jìn)步。智能會(huì)議系統(tǒng)是基于語音識(shí)別技術(shù)所研發(fā)，可滿足會(huì)議演講、會(huì)議研討、溝通交流、大型會(huì)議等一系列需要進(jìn)行實(shí)時(shí)文字轉(zhuǎn)寫的場(chǎng)景。此部分項(xiàng)目的實(shí)施主要解決會(huì)議記要整理時(shí)間長、會(huì)議中心思想因記錄人員的理解而可能出現(xiàn)的偏差、會(huì)議錄音及關(guān)鍵點(diǎn)難以查找等問題。項(xiàng)目建成后當(dāng)天即可完成所有相關(guān)會(huì)議記要的整理工作，同時(shí)，每一個(gè)人的發(fā)言均可記錄在紀(jì)要當(dāng)中，可有效減少因不同原因造成的會(huì)議中心內(nèi)容理解的偏差，提升紀(jì)要整理的效率。建設(shè)內(nèi)容及目標(biāo)本項(xiàng)目計(jì)劃選取1個(gè)會(huì)議室分別部署單機(jī)版聽見智能會(huì)議系統(tǒng)，進(jìn)行基于會(huì)議場(chǎng)景下的新型語音轉(zhuǎn)寫技術(shù)的應(yīng)用，實(shí)現(xiàn)會(huì)議過程中音頻實(shí)時(shí)轉(zhuǎn)寫成文字，輔助會(huì)議記錄人員進(jìn)行紀(jì)要的整理與校正，實(shí)現(xiàn)快速成稿，在整體上打造樣板化智能語音轉(zhuǎn)寫會(huì)議室。產(chǎn)品施工條件聽見智能會(huì)議系統(tǒng)的部署環(huán)境整體要求如下：環(huán)境指標(biāo)要求電源機(jī)柜要求音頻接口麥克風(fēng)視頻接口1.5KW高度：6U深度：500MM對(duì)應(yīng)機(jī)柜托盤一個(gè)需提供一路音頻接口，支持卡儂公或大三芯或雙蓮花需配置麥克風(fēng)對(duì)每個(gè)說話人聲音進(jìn)行采集如需上屏，需提供投屏接口，支持HDMI或VGA詳細(xì)說明如下：環(huán)境要求智能會(huì)議系統(tǒng)采用專業(yè)定制一體機(jī)的硬件形態(tài)，一體機(jī)的安裝機(jī)柜需要6U空間，安裝于正常室外室內(nèi)即可，設(shè)備深度為500MM，系統(tǒng)本身局域網(wǎng)組建自帶，網(wǎng)絡(luò)帶寬在100M以上，主控PC需要連接局域網(wǎng)下使用，整套設(shè)備局域網(wǎng)下運(yùn)行即可。同時(shí)需要1.5KW電源。音視頻需求該系統(tǒng)是基于音頻基礎(chǔ)上實(shí)現(xiàn)語音轉(zhuǎn)寫，麥克風(fēng)等音響設(shè)備利用會(huì)議室現(xiàn)有環(huán)境。為實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)音頻的采集，需要現(xiàn)場(chǎng)音響設(shè)備（調(diào)音臺(tái)或相關(guān)音頻設(shè)備）提供會(huì)議話筒音頻供轉(zhuǎn)寫，同時(shí)設(shè)備接口支持卡儂公、大三芯（6.5）、雙蓮花輸入。如有展板上屏需求，需要會(huì)議室內(nèi)配有投影儀或者電視機(jī)，且具備VGA或者HDMI接口任意一種，展板通過連接投影儀或者電視機(jī)進(jìn)行投屏展示。系統(tǒng)連線圖聽見智能會(huì)議系統(tǒng)的配套硬件設(shè)備，其形態(tài)為：通過國家CCC認(rèn)證和專業(yè)定制一體機(jī)+應(yīng)用端主控電腦。一體式智能會(huì)議主機(jī)為訊飛聽見專業(yè)定制設(shè)備，集成了包括服務(wù)節(jié)點(diǎn)、應(yīng)用節(jié)點(diǎn)、聲卡、顯示器、路由器等部件，用于部署引擎等核心能力軟件，并提供錄音服務(wù)處理、數(shù)據(jù)傳遞等能力；主控端筆記本電腦主要用于部署客戶端軟件，控制會(huì)議的開始和結(jié)束，提供軟件各個(gè)功能的操作。會(huì)議室現(xiàn)場(chǎng)的發(fā)言音頻輸出給一體機(jī)，同時(shí)如需顯示，一體機(jī)支持顯示輸出，主控電腦通過網(wǎng)線與一體機(jī)連接，整套產(chǎn)品即可使用。一體機(jī)整體外觀圖示意圖及背后面板圖如下：參數(shù)說明：整機(jī)電源：AC100-240V700W；服務(wù)器節(jié)點(diǎn)：XEON2.6G20M2011P8CORE，E5-2620V3*2；32GDDR4REG/ECC；接口2*千網(wǎng)口（IntelI210AT），1*RS232，GPIO，Watchdog，VGA->切換器；USB：6*USB(前置1*USB2.0+后置（2*USB2.0/2*USB3.0）；應(yīng)用節(jié)點(diǎn)：CORE3.2G6M1151P4COREI5-6500；8GDDR4，2*千兆網(wǎng)口（Intel82579V）1*千兆網(wǎng)口（Intel82579V），1*RS232，1*VGA，1*PS2，外接：DVI轉(zhuǎn)HDMI；坦克聲卡：一個(gè)麥克風(fēng)輸入并自帶音量增益旋鈕,XLR/6.3mm混合式接頭一個(gè)樂器輸入并自帶音量增益旋鈕,6.3mm接頭4個(gè)模擬輸入(RCA接頭)一組唱盤輸入并內(nèi)建RIAA等化放大及自帶音量增益旋鈕6個(gè)模擬輸出(RCA接頭)一個(gè)耳機(jī)接孔(6.3mm接頭)并自帶音量增益旋鈕一個(gè)光纖數(shù)字輸出/輸入一個(gè)同軸數(shù)字輸出/輸入一組MIDII/O。產(chǎn)品連線說明：本產(chǎn)品為一體機(jī)形態(tài)，只需要接通一根電源線、一根音頻線、一根視頻線，并通過一根網(wǎng)線連接主控，就可使用。建設(shè)方案系統(tǒng)概述聽見智能會(huì)議系統(tǒng)由軟件、硬件共同構(gòu)成，實(shí)現(xiàn)在會(huì)議場(chǎng)景下的實(shí)時(shí)音頻或錄音采集，并通過語音識(shí)別技術(shù)實(shí)時(shí)轉(zhuǎn)化為文字。用戶可以通過系統(tǒng)提供延時(shí)播放、按句回聽、重點(diǎn)標(biāo)記等功能方便快速整理出會(huì)議材料；并且通過系統(tǒng)提供的語氣詞過濾、自動(dòng)分段等功能自動(dòng)優(yōu)化文字結(jié)果；同時(shí)，用戶可以使用全文檢索功能方便檢索歷史音頻。系統(tǒng)具備會(huì)議音頻管理、即時(shí)校對(duì)編輯、敏感詞屏蔽、轉(zhuǎn)寫文字實(shí)時(shí)直播等基本功能。性能參數(shù)系統(tǒng)關(guān)鍵性能指標(biāo)如下：轉(zhuǎn)寫結(jié)果能夠?qū)崟r(shí)上屏展示；轉(zhuǎn)寫結(jié)果能夠音字對(duì)照、編輯校正；普通話轉(zhuǎn)寫指標(biāo)：安靜環(huán)境下的標(biāo)準(zhǔn)普通話轉(zhuǎn)寫正確率≥90%；系統(tǒng)響應(yīng)指標(biāo)：常規(guī)頁面操作的響應(yīng)時(shí)間≤5秒；轉(zhuǎn)寫效率指標(biāo)：實(shí)時(shí)語音轉(zhuǎn)寫效率≤500毫秒。軟件功能配置中文語音轉(zhuǎn)寫引擎聽見智能會(huì)議系統(tǒng)需要解決語音轉(zhuǎn)換成文字的問題。機(jī)器語音識(shí)別技術(shù)是一種實(shí)現(xiàn)從“聲音”到“文字”轉(zhuǎn)換的技術(shù)，通過將人的語音直接轉(zhuǎn)換成相應(yīng)的文本。語音識(shí)別技術(shù)的研究工作開始于上世紀(jì)五十年代。Bell實(shí)驗(yàn)室的研究人員利用模擬元器件提取了語音信號(hào)元音共振峰頻率變化的信息，有史以來第一次實(shí)現(xiàn)了識(shí)別十個(gè)英文數(shù)字的語音識(shí)別系統(tǒng)-Audry系統(tǒng)。八十年代，Bell實(shí)驗(yàn)室的Rabiner等科學(xué)家將原本艱澀難懂的隱馬爾科夫模型（HiddenMarkovModel-HMM）理論工程化，形成了較為完善的概率統(tǒng)計(jì)模型體系，識(shí)別性能也得到了很大的提高。2006年以來DeepLearning理論和技術(shù)成為了模式識(shí)別領(lǐng)域的一個(gè)熱門研究方向，G.E.Hinton等深入研究了深度置信網(wǎng)絡(luò)（DeepBeliefNetwork-DBN）以及深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetwork-DNN）等模型結(jié)構(gòu)，微軟通過與Hinton合作率先將DNN應(yīng)用于語音識(shí)別任務(wù)，識(shí)別性能取得了顯著提升。此后谷歌、蒙特利爾，以及IBM又將循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwok-RNN）成功應(yīng)用于語音識(shí)別領(lǐng)域，特別是長短時(shí)記憶（Long-ShortTermMemory）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取得非常出色的語音識(shí)別性能。加上目前圖形處理器（GPU）計(jì)算能力的提升，以及互聯(lián)網(wǎng)時(shí)代大規(guī)模標(biāo)注數(shù)據(jù)獲取成為可能，基于深度學(xué)習(xí)的語音識(shí)別技術(shù)已經(jīng)在多個(gè)領(lǐng)域達(dá)到實(shí)用水平。傳統(tǒng)的語音識(shí)別技術(shù)主要用于解決人與機(jī)器的交互問題。而在會(huì)議場(chǎng)景需要需要轉(zhuǎn)成文字的音頻內(nèi)容是人與人之間交互，聽見智能會(huì)議系統(tǒng)需要基于機(jī)器語音識(shí)別技術(shù)構(gòu)建語音轉(zhuǎn)寫引擎。聽見智能會(huì)議系統(tǒng)構(gòu)建的語音轉(zhuǎn)寫引擎需要能夠?qū)崟r(shí)、高效的把人與人之間交流的語音轉(zhuǎn)換為文字的能力，具體包括中文語音轉(zhuǎn)寫引擎與英文語音轉(zhuǎn)寫引擎，本系統(tǒng)需要完成中文語音轉(zhuǎn)寫引擎的建設(shè)。應(yīng)用系統(tǒng)基本功能聽見智能會(huì)議系統(tǒng)，可以實(shí)現(xiàn)在會(huì)議、教學(xué)、演講等場(chǎng)景下的實(shí)時(shí)音頻或錄音采集，并通過語音識(shí)別技術(shù)實(shí)時(shí)轉(zhuǎn)化為文字。用戶可以通過系統(tǒng)提供延時(shí)播放、按句回聽、重點(diǎn)標(biāo)記等功能方便快速整理出會(huì)議材料；并且通過系統(tǒng)提供的語氣詞過濾、自動(dòng)分段等功能自動(dòng)優(yōu)化文字結(jié)果，可人工進(jìn)行角色分離；同時(shí)，用戶可以使用全文檢索功能方便檢索歷史音頻。實(shí)時(shí)語音轉(zhuǎn)寫聽見智能會(huì)議系統(tǒng)需要通過對(duì)實(shí)時(shí)音頻流信號(hào)的處理完成從信號(hào)獲取、轉(zhuǎn)換、處理、識(shí)別、輸出、展示等一整套流程動(dòng)作，需要由強(qiáng)大的音頻采集處理模塊。系統(tǒng)講通過使用特定的錄音服務(wù)，通過麥克風(fēng)收集后，送達(dá)后臺(tái)服務(wù)端完成編碼工作，實(shí)時(shí)上傳到系統(tǒng)，供后續(xù)的轉(zhuǎn)寫文字等功能使用，同時(shí)保存到內(nèi)容管理模塊中。系統(tǒng)通過專業(yè)麥克風(fēng)對(duì)會(huì)議全程進(jìn)行高保真錄音,并針對(duì)連續(xù)中文語流進(jìn)行實(shí)時(shí)語音轉(zhuǎn)寫識(shí)別，并持續(xù)進(jìn)行轉(zhuǎn)寫結(jié)果文本內(nèi)容的輸出。歷史語音轉(zhuǎn)寫相比于實(shí)時(shí)語音轉(zhuǎn)寫模塊，歷史語音轉(zhuǎn)寫模塊提供對(duì)于已經(jīng)錄制好的歷史音頻需要轉(zhuǎn)寫情況下的解決能力；用戶可以通過系統(tǒng)提供的功能按鈕，導(dǎo)入歷史音頻并實(shí)現(xiàn)快速離線轉(zhuǎn)寫；支持音頻批量導(dǎo)入。圖：歷史音頻轉(zhuǎn)寫編輯效果圖內(nèi)容編輯在實(shí)時(shí)語音轉(zhuǎn)寫過程中用戶可以實(shí)時(shí)對(duì)轉(zhuǎn)寫出的文本結(jié)果進(jìn)行編輯，并進(jìn)行重點(diǎn)內(nèi)容標(biāo)記。在實(shí)時(shí)編輯的過程中采用延時(shí)播放的策略，用戶可以在查看到轉(zhuǎn)寫文本之后及時(shí)根據(jù)聽到的音頻進(jìn)行文本校對(duì)編輯。用戶也可不戴耳機(jī)直接聽現(xiàn)場(chǎng)的實(shí)時(shí)音頻。支持選擇查看原始結(jié)果，對(duì)比修改，方便快捷，會(huì)議結(jié)束后即可直接成稿,并根據(jù)重點(diǎn)內(nèi)容，整理導(dǎo)出會(huì)議紀(jì)要。具體功能包括：延時(shí)播放：在實(shí)時(shí)語音轉(zhuǎn)寫過程中,識(shí)別結(jié)果展現(xiàn)之后再開始連續(xù)播放音頻，即用戶在看到轉(zhuǎn)寫文本的時(shí)候，同步聽到對(duì)應(yīng)的音頻,使得校對(duì)和編輯更加便利。重點(diǎn)內(nèi)容標(biāo)記：在實(shí)時(shí)語音轉(zhuǎn)寫過程中或者暫停和結(jié)束時(shí)，用戶均可以選中文本來進(jìn)行重點(diǎn)內(nèi)容的標(biāo)記，已標(biāo)記的文本也可以進(jìn)行修改和標(biāo)記取消，方便整理會(huì)議紀(jì)要，會(huì)議結(jié)束會(huì)后即可或直接成稿。音字對(duì)照：在實(shí)時(shí)語音轉(zhuǎn)寫暫停的時(shí)候，用戶如果對(duì)于有些內(nèi)容沒有聽清，對(duì)于文本內(nèi)容不確定的情況下，雙擊原始結(jié)果即可聽到文本對(duì)應(yīng)的音頻，方便用戶對(duì)寫結(jié)果進(jìn)行編輯，尤其是不小心誤刪除了編輯文本，可以通過回聽原始結(jié)果來進(jìn)行回溯。實(shí)時(shí)語音轉(zhuǎn)寫結(jié)束狀態(tài)時(shí)，原始結(jié)果及編輯結(jié)果均可雙擊進(jìn)行音頻回聽。圖：實(shí)時(shí)語音轉(zhuǎn)寫效果圖效果優(yōu)化在實(shí)時(shí)語音轉(zhuǎn)寫過程中，聽見智能會(huì)議系統(tǒng)通過提供語氣詞過濾、自動(dòng)分段等功能自動(dòng)優(yōu)化文字轉(zhuǎn)寫和顯示結(jié)果。具體包括：自動(dòng)分段：在會(huì)議內(nèi)容實(shí)時(shí)語音轉(zhuǎn)寫成文字的過程中，為了方便用戶編輯何查看，系統(tǒng)提供根據(jù)VAD+固定字?jǐn)?shù)和VAD+固定關(guān)鍵詞兩種自動(dòng)分段方式。系統(tǒng)提供最佳的默認(rèn)自動(dòng)分段方式，用戶也可根據(jù)實(shí)際情況進(jìn)行設(shè)置。語氣詞過濾：用戶可以在實(shí)時(shí)語音轉(zhuǎn)寫開始前或者進(jìn)行文稿整理時(shí)可以根據(jù)需要選擇是否開啟語氣詞過濾按鈕，若開啟按鈕可將語氣詞和多余的詞匯去除，以保證文稿的規(guī)整。語氣詞過濾只針對(duì)新轉(zhuǎn)寫的結(jié)果，已經(jīng)修改過的內(nèi)容不支持過濾。關(guān)鍵詞優(yōu)化：用戶可通過關(guān)鍵詞優(yōu)化功能將此次會(huì)議相關(guān)的關(guān)鍵詞進(jìn)行添加，能有效提升該關(guān)鍵詞的識(shí)別準(zhǔn)確率。實(shí)時(shí)轉(zhuǎn)寫過程中用戶也可添加關(guān)鍵詞，并且可以實(shí)時(shí)生效，后續(xù)識(shí)別結(jié)果可得到有效優(yōu)化。內(nèi)容展示系統(tǒng)通過提供展板上屏等形式進(jìn)行實(shí)時(shí)語音轉(zhuǎn)寫結(jié)果的展示。具體功能包括：實(shí)時(shí)上屏：通過展板上屏展示中實(shí)時(shí)語音轉(zhuǎn)寫結(jié)果。并且，字體顏色和展板背景顏色可以根據(jù)實(shí)際情況需要進(jìn)行調(diào)整。圖：展板效果圖上屏后臺(tái)修改：如果在實(shí)時(shí)轉(zhuǎn)寫過程中使用了實(shí)時(shí)上屏功能,希望保障上屏效果，那么可以使用上屏后臺(tái)修改功能進(jìn)行展板端的結(jié)果糾正。在開始時(shí)點(diǎn)擊展板按鈕，調(diào)出展板，此時(shí)該展板端會(huì)同步出現(xiàn)識(shí)別文字。如果在轉(zhuǎn)寫過程中出現(xiàn)明顯錯(cuò)誤或不適宜展示的詞語，則可以在主控端進(jìn)行展板編輯，可以修改或刪除,修改之后按Enter鍵則修改的內(nèi)容會(huì)同步到現(xiàn)場(chǎng)的投影屏幕上。內(nèi)容管理所有通過聽見智能會(huì)議系統(tǒng)轉(zhuǎn)寫的實(shí)時(shí)錄制的音頻文本數(shù)據(jù)和本地上傳的音頻文本數(shù)據(jù)系統(tǒng)都會(huì)以列表形式進(jìn)行管理，后臺(tái)通過分布式存儲(chǔ)集群實(shí)現(xiàn)高效安全存儲(chǔ)，整個(gè)過程用戶無感知。用戶可以通過內(nèi)容管理模塊隨時(shí)查看和編輯，并且可以根據(jù)名稱等信息快速檢索。此外，編輯后的全文本、重點(diǎn)文本以及音頻、某一角色的文本，用戶都可以快速導(dǎo)出,方便快捷。系統(tǒng)通過自然語言理解、語音識(shí)別和語義分析技術(shù)理解用戶意圖，執(zhí)行用戶的檢索指令（包括語音、文本等），實(shí)現(xiàn)資源文本內(nèi)容的語音搜索服務(wù)能力，不僅能檢索文本資源，也能根據(jù)文件名對(duì)音視頻內(nèi)容進(jìn)行搜索。該服務(wù)在傳統(tǒng)的文字輸入搜索方式基礎(chǔ)上，不僅能支持搜索語音時(shí)的相對(duì)自由表述，也應(yīng)當(dāng)能夠支持傳統(tǒng)文字檢索時(shí)的相對(duì)自由表述。硬件參數(shù)配置聽見智能會(huì)議系統(tǒng)的配套硬件設(shè)備，具體包括：一體式智能會(huì)議主機(jī)、應(yīng)用端主控電腦。產(chǎn)品參數(shù)如下：名稱參數(shù)配置數(shù)量單位定制一體機(jī)訊飛聽見專業(yè)定制一體式智能會(huì)議主機(jī)，提供4U設(shè)備形態(tài)，集成了包括服務(wù)節(jié)點(diǎn)、應(yīng)用節(jié)點(diǎn)、聲卡、顯示器、路由器等部件。服務(wù)節(jié)點(diǎn)配置：2*E5-2620V32.6GHZ/32G/900G*3SAS10KRPM+raid5/1*USBkey+3*USB2.0/1000MNIC；應(yīng)用節(jié)點(diǎn)配置：IntelCorei5/8G/500GSATA7200RPM/VGA+HDMI\DVI\DP/3*USB2.0/1000MNIC；KVM控制器：二路信號(hào)切換，支持一鍵切換服務(wù)端、應(yīng)用端信號(hào)源；鍵鼠支持切換使用二切一。聲音采集工作站：DMX6FireUSB，單路聲卡支持路由功能，提供三個(gè)連接外網(wǎng)