智能對話系統(tǒng)中的個性化胡一川來也聯(lián)合創(chuàng)始人&CTO.

2000-2007

：清華大學(xué)本碩.

2008-2011

：賓夕法尼亞大學(xué)博士

.

2011-2012

：今晚看啥聯(lián)合創(chuàng)始人

.

2013-2015

：百度資深架構(gòu)師.

2015至今：來也聯(lián)合創(chuàng)始人&CTO個人簡介胡—川讓每個人擁有助理六百萬用戶正在使用的對話式在線個人助理服務(wù)?理解-交互-咨詢-任務(wù)完成，實(shí)現(xiàn)交易閉環(huán)?

日均需求會話數(shù)超百萬，

AI交互占比98%?對接超過150個服務(wù)商，日程AI準(zhǔn)確率99%?主動交互DAU及新增用戶數(shù)維持高速自增長領(lǐng)先的企業(yè)智能助理智能對話解決方案賦能企業(yè)提升效率?具有AI能力的機(jī)器人平臺和智能對話解決方案?基于大數(shù)據(jù)挖掘的用戶畫像，實(shí)現(xiàn)個性化推薦?超過95%的AI準(zhǔn)確率，人效優(yōu)化60%?2-3倍的銷售轉(zhuǎn)化率提升來也專注于智能對話技術(shù)2

、用對話機(jī)器人

替代人工.

在線客服.

智能IVR.

智能外呼3、用對話機(jī)器人

提升效率和體驗(yàn).

智能營銷.

智能推薦.

智能下單1

、自然對話是唯

一的交互方式.

車載.

智能音箱.

可穿戴設(shè)備適合智能對話系統(tǒng)的場景.用戶希望得到特定問題的答案.機(jī)器人回復(fù)來自特定領(lǐng)域的知識庫

.以準(zhǔn)確率為評估指標(biāo).用戶希望完成特定的任務(wù).機(jī)器人通過多輪對話滿足用戶需求

.以需求完成率為評估指標(biāo).用戶沒有明確目的.機(jī)器人也沒有標(biāo)準(zhǔn)答案.以相關(guān)性、趣味性為評估指標(biāo)任務(wù)型對話閑聊問答型對話幫我訂張機(jī)票我好無聊啊什么是人工智能？s種不同的對話類型知識庫基于知識庫的智能問答知識庫由若干個知識點(diǎn)組成，每個知識點(diǎn)都包含若干個語

義相同的問題，這些問題可

以被同樣的答案來回答。問答機(jī)器人將用戶的問題匹配

到知識庫中最相近的知識點(diǎn)上，

用該知識點(diǎn)的答案回答用戶。如何成為會員?怎么注冊會員?我想成為會員?

會員怎么申請會員有什么權(quán)益?

會員有特權(quán)嗎?

會員能干什么?

會員有啥好處怎么查詢積分?我有多少積分?如何查看積分?哪里能查積分問答機(jī)器人機(jī)器人回答命中知識點(diǎn)“如何查詢積分”用戶問題怎么看還剩多少積分?

基本思路?

每個知識點(diǎn)是一個分類?

將整個知識庫作為訓(xùn)練數(shù)據(jù)?傳統(tǒng)機(jī)器學(xué)習(xí)模型?

TFIDF

+

LR?n-gram+Adaboost?神經(jīng)網(wǎng)絡(luò)模型?

LSTM

?CNN?

fastText知識庫分類2基于分類模型的問答系統(tǒng)分類器分類1分類3訓(xùn)練分類器分類結(jié)果用戶問題?

檢索?

以知識庫中的問題為粒度建立索引，每個

問題都對應(yīng)一個知識點(diǎn)?對用戶問題進(jìn)行分詞、去停用詞、同義詞

擴(kuò)展等操作?返回知識庫中若干個相關(guān)性最高的問題對

應(yīng)的知識點(diǎn)?

排序?通過一個語義匹配模型計(jì)算用戶問題和檢

索返回問題的語義相似度，選擇語義相似

度最高的問題對應(yīng)的知識點(diǎn)基于檢索和排序的問答系統(tǒng)排序知識庫檢索

檢索結(jié)果最終結(jié)果用戶問題句向量編碼器向量搜索知識庫基于句向量的語義檢索檢索結(jié)果

命中知識點(diǎn)“如何查詢積分”怎么看還剩多少積分知識點(diǎn)

1知識點(diǎn)2知識點(diǎn)3用戶問題?

通過標(biāo)注數(shù)據(jù)訓(xùn)練句向量編碼器?標(biāo)注數(shù)據(jù)為句對：語義相同的句對、語義不同的句對?

句向量編碼器的結(jié)構(gòu)：

Bi-LSTM+

max-pooling?向量搜索使用

Faiss句向量編碼器和向量搜索[Conneau2017]?問答的本質(zhì)是找到和用戶問題語義匹配的知識點(diǎn)?基于分類模型的問答系統(tǒng)效果好，但需要較多的訓(xùn)練數(shù)據(jù)，且重新訓(xùn)練的成本較高?基于檢索和排序的問答系統(tǒng)能較好的彌補(bǔ)以上問題，但仍然存在檢索召回問題?基于句向量的語義檢索能實(shí)現(xiàn)在全量數(shù)據(jù)上的高效搜索，從而解決傳統(tǒng)檢索的召回問題?實(shí)際系統(tǒng)中會根據(jù)具體情況選擇不同的方案問答型對話技術(shù)小結(jié)任務(wù)型對話.用戶希望完成特定的任務(wù).機(jī)器人通過多輪對話滿足用戶需求.以需求完成率為評估指標(biāo)幫我訂張機(jī)票.用戶希望得到特定問題的答案.機(jī)器人回復(fù)來自特定領(lǐng)域的知識庫

.以準(zhǔn)確率為評估指標(biāo).用戶沒有明確目的.機(jī)器人也沒有標(biāo)準(zhǔn)答案.以相關(guān)性、趣味性為評估指標(biāo)閑聊問答型對話我好無聊啊什么是人工智能？s種不同的對話類型?Automatic

speech

recognition

(ASR)?

將語音信號轉(zhuǎn)為文本?

Natural

languageunderstanding

(NLU)?

將文本映射成結(jié)構(gòu)化的語義表示?

Dialogue

management

(DM)?

維護(hù)對話狀態(tài)并決定系統(tǒng)動作?

Natural

languagegeneration

(NLG)?

根據(jù)系統(tǒng)動作生成自然語言?Text-to-speech

synthesis

(TTS)?

基于自然語言生成語音信號輸出任務(wù)型對話系統(tǒng)的架構(gòu)User

Input

NLU

Dialog

StateUser

DialogAct

DM

任務(wù)型對話系統(tǒng)中的NLU和

DMSystem

DialogActUser

DialogAct?

每一個狀態(tài)都對應(yīng)一個系統(tǒng)動作?

狀態(tài)之間的跳轉(zhuǎn)以用戶當(dāng)前輸入為條件?通過有限狀態(tài)機(jī)將

(當(dāng)前狀態(tài),

用戶輸入)

映射到下一狀態(tài)?

只適合特定的對話類型?

狀態(tài)太多時(shí)難以維護(hù)基于有限狀態(tài)機(jī)（FiniteState

Machine）

的對話管理[Pilson2014]?Frame

是槽位（Slots）的集合，定義需要用戶提供什么信息?

對話狀態(tài)：哪些槽位已被填充?

動作選擇：下一步該填充哪個槽位?

難以應(yīng)對復(fù)雜的場景?

缺少層次基于幀（Frame）的對話管理?

對Frame進(jìn)行改進(jìn)，支持樹狀的層次結(jié)構(gòu)?樹中的節(jié)點(diǎn)稱為

handler，用于理解并處理用戶輸入?

從左到右、深度優(yōu)先遍樹中的handler?樹的結(jié)構(gòu)可動態(tài)調(diào)整，支持話題切換、回退、退出基于計(jì)劃（Agenda）的對話管理[Rudnicky

1999]?通過神經(jīng)網(wǎng)絡(luò)將對話上文映射到系統(tǒng)動作，無需顯示定義對話狀態(tài)?

網(wǎng)絡(luò)的輸入是NLU結(jié)果和上一步系統(tǒng)動作?

網(wǎng)絡(luò)的輸出是下一步系統(tǒng)動作的概率分布?

可通過有監(jiān)督學(xué)習(xí)或強(qiáng)化學(xué)習(xí)的方法訓(xùn)練?

需要大量真實(shí)的、標(biāo)注的對話數(shù)據(jù)基于深度強(qiáng)化學(xué)習(xí)的對話狀態(tài)跟蹤[Williams2016]?任務(wù)型對話將用戶的輸入和系統(tǒng)的輸出都映射為對話動作?通過對話狀態(tài)來實(shí)現(xiàn)上下文的理解和表示?對話管理模塊是任務(wù)型對話的大腦，它決定系統(tǒng)動作并維護(hù)和更新對話狀態(tài)?傳統(tǒng)的對話管理方法包括基于

FSM

、Frame

、Agenda

的，

適用于不同的場景?基于統(tǒng)計(jì)的對話管理方法更加靈活，但需要大量真實(shí)的、標(biāo)注的對話數(shù)據(jù)來訓(xùn)練任務(wù)型對話技術(shù)小結(jié)閑聊.用戶沒有明確目的.機(jī)器人也沒有標(biāo)準(zhǔn)答案.以相關(guān)性、趣味性為評估指標(biāo)我好無聊啊.用戶希望得到特定問題的答案.機(jī)器人回復(fù)來自特定領(lǐng)域的知識庫

.以準(zhǔn)確率為評估指標(biāo).用戶希望完成特定的任務(wù).機(jī)器人通過多輪對話滿足用戶需求

.以需求完成率為評估指標(biāo)任務(wù)型對話問答型對話幫我訂張機(jī)票什么是人工智能？s種不同的對話類型檢索式的閑聊對話系統(tǒng)[Zhou2016]生成式的閑聊對話系統(tǒng)[Huang2016]?通常以來自互聯(lián)網(wǎng)的大量句對作為訓(xùn)練數(shù)據(jù)?有檢索式和生成式兩大類方法?檢索式的方法效果可控，但缺乏多樣性?生成式的方法使用更靈活的框架，可以對生成的對話進(jìn)行更好的控制閑聊型對話技術(shù)小結(jié)機(jī)器人需要有不同的情感?

用戶：今天真倒霉，早上

特別堵，上班又遲到了?

機(jī)器人（關(guān)心）：沒事沒

事，別放在心上?

機(jī)器人（氣憤）：最近交

通真是太差了！機(jī)器人需要有統(tǒng)一身份屬性?

用戶：你多大了？?

機(jī)器人：我是90后?

用戶：你是哪年的？?

機(jī)器人：我是1985年的?

用戶：？？？智能對話系統(tǒng)中的個性化?機(jī)器人的回復(fù)不僅在內(nèi)容上有相關(guān)性，在情緒上也要有一致性?

將回復(fù)的情緒分為不同類型，作為特征進(jìn)行訓(xùn)練?

生成時(shí)可根據(jù)不同情緒生成不同回復(fù)對話機(jī)器人的個性化-情緒[Zhou2018]對話機(jī)器人的個性化-情緒[Zhou2018]對話機(jī)器人的個性化

-

身份屬性[Qian2018]?機(jī)器人的身份屬性在對話過程中要保持一致?

姓名、性別、年齡、愛好等等?

?Profile

Detector判斷回復(fù)中是否需要包含身份屬性?

根據(jù)身份屬性來生成回復(fù)對話機(jī)器人的個性化

-

身份屬性[Qian2018].行程路線.廈門半天的行程路線.

求推薦廈門3到7

日景點(diǎn)游線路.交通出行.

到云水謠什么交通方式最方便.

去鼓浪嶼快艇上島的費(fèi)用？.景點(diǎn)問答.

去日光巖看日出需要買門票嗎.寂莊花園