張偉男哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院社會(huì)計(jì)算與信息檢索研究中心人機(jī)對(duì)話關(guān)鍵技術(shù)及挑戰(zhàn)本科生對(duì)話理解與對(duì)話生成對(duì)話主導(dǎo)朱才海馮梓嫻推薦主導(dǎo)胡景雯一致性張家樂張開顏連貫性個(gè)性化多樣性朱慶福馬龍軒宋皓宇劉元興李凌志多輪建模朱澤圻風(fēng)格化Conversational

Intelligence(CI)張偉男副教授對(duì)話式推薦個(gè)人簡(jiǎn)介HIT-SCIR劉挺教授博士生

碩士生

智能人機(jī)對(duì)話系統(tǒng)“笨笨”?

HIT-SCIR-CI組主導(dǎo)研發(fā)?

平臺(tái)?

微信公眾號(hào)：

2016年6月6日上線?

實(shí)體機(jī)器人?

主要功能

?閑聊?

問答?

任務(wù)型對(duì)話?

推薦3笨笨系統(tǒng)結(jié)構(gòu)ZhangW

N,

LiuT,etal.

Benben:

AChinese

IntelligentConversational

Robot[C]//ACL2017,System

Demonstrations.2017:13-18.4“聊天”示例5“知識(shí)問答”示例6“任務(wù)執(zhí)行”示例7“推薦”示例8笨笨訪問統(tǒng)計(jì)9智能人機(jī)對(duì)話系統(tǒng)“笨笨”10?

主辦方?中國(guó)中文信息學(xué)會(huì)(CIPS)?

承辦方?

哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心?

科大訊飛(數(shù)據(jù)支持)?

贊助方?

華為公司中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)(SMP-ECDT

III)11SMP

ECDT

III委員會(huì)?

主席?

張偉男?

哈爾濱工業(yè)大學(xué)?

委員?

陳志剛，科大訊飛?

車萬翔，哈爾濱工業(yè)大學(xué)?

張軼博，華為?

黃民烈，清華大學(xué)12SMP-ECDT

III?

（深度）自然語言理解評(píng)測(cè)?

領(lǐng)域-意圖-語義槽?

例如：“我想訂上海飛往北京的航班”?

評(píng)測(cè)指標(biāo)：?

SentenceACC?領(lǐng)域、意圖識(shí)別和語義槽填充全做對(duì)！?

特點(diǎn)（難點(diǎn)）?

符合任務(wù)型對(duì)話的真實(shí)應(yīng)用場(chǎng)景?

多領(lǐng)域性、多意圖性/smp2019/evaluation.html13任務(wù)一結(jié)果排名（2019.07.15）SMP-ECDT

III?個(gè)性化對(duì)話生成評(píng)測(cè)?

給定特定用戶屬性，生成符合

該屬性的個(gè)性化對(duì)話回復(fù)?

特點(diǎn)?

百萬級(jí)數(shù)據(jù)集?

客觀+主觀評(píng)價(jià)?

BLEU

、Perplexity

、Distinct?

Fluency

、Personality

、

Appropriateness/smp2019/evaluation.html

15任務(wù)二結(jié)果排名（2019.07.15）人機(jī)對(duì)話主要技術(shù)方向特定域內(nèi)輸入和輸出的空間有限盡快完成任務(wù)結(jié)束對(duì)話為了完成某項(xiàng)任務(wù)而達(dá)到某個(gè)目標(biāo)輸入和輸出空間無限大盡可能延續(xù)對(duì)話沒有明確的對(duì)話目標(biāo)任務(wù)型對(duì)話（任務(wù)執(zhí)行）（Task-oriented

Dialogue）開放域聊天（聊天）（Open

Domain

Chatting）VS典型應(yīng)用：聊天機(jī)器人典型應(yīng)用：智能助手17VS開放域聊天（聊天）（Open

Domain

Chatting）典型應(yīng)用：聊天機(jī)器人人機(jī)對(duì)話主要技術(shù)方向特定域內(nèi)輸入和輸出的空間有限盡快完成任務(wù)結(jié)束對(duì)話為了完成某項(xiàng)任務(wù)而達(dá)到某個(gè)目標(biāo)輸入和輸出空間無限大盡可能延續(xù)對(duì)話沒有明確的對(duì)話目標(biāo)任務(wù)型對(duì)話（任務(wù)執(zhí)行）（Task-oriented

Dialogue）典型應(yīng)用：智能助手18對(duì)話狀態(tài)跟蹤...自然語言生成...開放域?qū)υ?聊天)系統(tǒng)構(gòu)成隱式反饋跟蹤確認(rèn)狀態(tài)跟蹤澄清狀態(tài)跟蹤詞法、句法、語義分析拒識(shí)回復(fù)確認(rèn)及澄清回復(fù)多領(lǐng)域用戶對(duì)話意圖識(shí)別多領(lǐng)域?qū)υ挔顟B(tài)跟蹤上下文建模情感回復(fù)個(gè)性化回復(fù)風(fēng)格化回復(fù).

.

.對(duì)話質(zhì)量評(píng)估情感分析拒識(shí)、確認(rèn)、澄清、隱式反饋...TTS領(lǐng)域內(nèi)分析及處理ASR多領(lǐng)域?qū)υ挔顟B(tài)分布自然語言理解文本或語音文本或語音狀態(tài)更新特征表示特征表示中間結(jié)果終端19...聊天技術(shù)的前沿研究點(diǎn)Zhanget

al.

(2018)Orabyet

al.

(2018)Zhanget

al.

(2018)

Mazaré

etal.

(2018)

Moet

al.

(2018)Yanget

al.

(2017)Joshiet

al.

(2017)

Wanget

al.

(2017)個(gè)性化&風(fēng)格化Zhanget

al.

(2018)Serbanet

al.

(2017)Zhaoet

al.

(2017)

Wuet

al.

(2017)Tianet

al.

(2017)上下文建模Huberet

al.

(2018)Zhouet

al.

(2018)Asgharetal.

(2018)

Sunet

al.

(2018)Zhouet

al.

(2017)情感對(duì)話Zhuet

al.

(2018)Xingetal.

(2017)Yuetal.

(2017)Songetal.

(2017)Li

etal.

(2017a,b)Ghazvininejadetal.(2018)Liuetal.

(2018)

Zhou

et

al.

(2018)Zhuet

al.

(2017)模型優(yōu)化知識(shí)擴(kuò)展內(nèi)容控制20Zhanget

al.

(2018)Yaoetal.

(2017)Keetal.

(2018)Xinget

al.

(2017)Zhanget

al.

(2018)

Luanet

al.

(2017)機(jī)器人畫像Qianet

al.

(2018)特色

功能對(duì)話

生成Ghazvininejadetal.(2018)Liuetal.

(2018)

Zhou

et

al.

(2018)Zhuet

al.

(2017)對(duì)話

生成模型優(yōu)化知識(shí)擴(kuò)展內(nèi)容控制21Zhuet

al.

(2018)Xingetal.

(2017)Yuetal.

(2017)Songetal.

(2017)Li

etal.

(2017a,b)Zhanget

al.

(2018)Yaoetal.

(2017)Keetal.

(2018)Xinget

al.

(2017)Qianet

al.

(2018)

Orabyet

al.

(2018)Zhanget

al.

(2018)

Mazaré

etal.

(2018)

Moet

al.

(2018)Yanget

al.

(2017)Joshiet

al.

(2017)

Wanget

al.

(2017)個(gè)性化&風(fēng)格化Zhanget

al.

(2018)Serbanet

al.

(2017)Zhaoet

al.

(2017)

Wuet

al.

(2017)Tianet

al.

(2017)上下文建模Huberet

al.

(2018)Zhouet

al.

(2018)Asgharetal.

(2018)

Sunet

al.

(2018)Zhouet

al.

(2017)情感對(duì)話聊天技術(shù)的前沿研究點(diǎn)Zhanget

al.

(2018)Luanet

al.

(2017)機(jī)器人畫

復(fù)質(zhì)量Zhanget

al.

(2018)特色

功能?

M：你今年多大了？?

R：我不知道?

M：你怎么不知道？?

R：我也是?

M：呵呵好吧?

R：好的?

M：我考試沒及格?R：我的天！?

M：我該怎么告訴媽媽？?

R：快去給她個(gè)驚喜?

M：我考試得了滿分?

R：太棒了?

M：我該怎么告訴媽媽？?

R：快去給她個(gè)驚喜回復(fù)質(zhì)量上存在的挑戰(zhàn)22局部學(xué)習(xí)上下文無關(guān)?

M：你今年多大了？?

R：我不知道?

M：你怎么不知道？?

R：我也是?

M：呵呵好吧?

R：好的萬能回復(fù)相關(guān)性差?

M：我考試沒及格?R：我的天！?

M：我該怎么告訴媽媽？?

R：快去給她個(gè)驚喜?

M：我考試得了滿分?

R：太棒了?

M：我該怎么告訴媽媽？?

R：快去給她個(gè)驚喜回復(fù)質(zhì)量上存在的挑戰(zhàn)23優(yōu)化初始的解碼過程?

動(dòng)機(jī)：解碼的第一個(gè)輸出對(duì)后面的整句起決定性作用QingfuZhu,WeinanZhang,Ting

Liu.

Learningto

Start

for

Sequenceto

Sequence

based

Response

Generation.

CCIR

2018

24更好地利用檢索結(jié)果提高對(duì)話生成質(zhì)量?檢索式對(duì)話模型流暢性好?

生成式對(duì)話模型多樣性強(qiáng)?

如何將兩者有效結(jié)合？?

大規(guī)模數(shù)據(jù)訓(xùn)練容易導(dǎo)致萬能回復(fù)?

利用標(biāo)準(zhǔn)回復(fù)“判別”檢索結(jié)果?

將判別后的檢索結(jié)果“生成”回復(fù)?

發(fā)表于ACL2019QingfuZhu,Lei

Cui,Wei-NanZhang,FuruWei,TingLiu.

Retrieval-EnhancedAdversarial

Training

forNeural

Response

Generation[C].ACL201925基于可控內(nèi)容生成提升對(duì)話回復(fù)多樣性?

動(dòng)機(jī)：萬能回復(fù)的特點(diǎn)是無信息量，

通過控制回復(fù)中生成的內(nèi)容能夠提升生成質(zhì)量QingfuZhu,Wei-NanZhang,Lei

Cui,TingLiu.Retrieval-EnhancedAdversarial

Training

forNeural

Response

Generation[C].ACMTALLIP201926知識(shí)嵌入序列到序列單輪聊天-

回復(fù)生成技術(shù)benben

<EOS>amI模型優(yōu)化內(nèi)容優(yōu)化Ghazvininejadet

al.(2018)AAAIareyou<EOS>內(nèi)容控制Zhanget

al.

(2018)ACLShanget

al.

(2015)ACLbenbenWho27amI更好地建模多輪對(duì)話歷史的語義?

動(dòng)機(jī)：利用Attention獲取多輪對(duì)話歷史語義信息，避免循環(huán)式神

經(jīng)網(wǎng)絡(luò)的梯度衰減問題Wei-NanZhang,YimingCui,YifaWang,QingfuZhu,LingzhiLi,LianqiangZhou,Ting

Liu.

Context-Sensitive

Generation

of

Open-Domain

Conversational

Responses[C].

COLING2018

28動(dòng)態(tài)建模多輪對(duì)話的策略?

動(dòng)機(jī)：多輪對(duì)話過程是動(dòng)態(tài)變化的，

不能用單輪的貪心方式來建宋皓宇,張偉男,劉挺.基于DQN的開放域多輪對(duì)話策略學(xué)習(xí).SMP2017

Best

Paper模多輪的過程29挖掘用戶隱式反饋延長(zhǎng)對(duì)話輪次?

動(dòng)機(jī)：用戶的回復(fù)內(nèi)容中通常包含了一些隱式反饋，如立場(chǎng)、情

緒等的潛在信息，能夠反映對(duì)話生成的質(zhì)量Wei-NanZhang,LingzhiLi,Dongyan

Cao,Lianqiang

Zhou,

Ting

Liu.

Exploring

Implicit

Feedback

for

Open

Domain

Conversation

Generation[C].AAAI201830重排序模型多輪聊天-

回復(fù)生成技術(shù)Serbanet

al.

(2017)AAAI層次化模型強(qiáng)化學(xué)習(xí)模型深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)Sordoniet

al.

(2015)

NAACLZhanget

al.

(2018)AAAI31Zhanget

al.

(2018)Qianet

al.

(2018)

Orabyet

al.

(2018)Zhanget

al.

(2018)

Mazaré

etal.

(2018)

Moet

al.

(2018)Yanget

al.

(2017)Wanget

al.

(2017)Zhanget

al.

(2018)Serbanet

al.

(2017)Zhaoet

al.

(2017)

Wuet

al.

(2017)Tianet

al.

(2017)上下文建模Ghazvininejadetal.(2018)Ke

et

al.

(2018)聊天技術(shù)的前沿研究點(diǎn)Zhuet

al.

(2018)Xingetal.

(2017)Yuetal.

(2017)Songetal.

(2017)Li

etal.

(2017a,b)模型優(yōu)化知識(shí)擴(kuò)展內(nèi)容控制32Zhanget

al.

(2018)Yao

etal.

(2017)Xinget

al.

(2017)Zhouet

al.

(2018)Sunet

al.

(2018)Zhouet

al.

(2017)Liuetal.

(2018)

Zhou

et

al.

(2018)Zhuet

al.

(2017)Huberet

al.

(2018)Asgharetal.

(2018)Zhanget

al.

(2018)

Luanet

al.

(2017)機(jī)器人畫像Joshiet

al.

(2017)個(gè)性化&風(fēng)格化特色

功能對(duì)話

生成用戶體驗(yàn)情感對(duì)話個(gè)性化回復(fù)生成自由文本描述的個(gè)性信息顯式建模個(gè)性化信息客觀評(píng)價(jià)個(gè)性化屬性回復(fù)準(zhǔn)確率給定帶有個(gè)性化屬性信息的

結(jié)構(gòu)化數(shù)據(jù)隱式建模個(gè)性化信息人工評(píng)價(jià)回復(fù)是否包含個(gè)性給定帶有個(gè)性化偏好信息的

自然語言描述性段落VS結(jié)構(gòu)化個(gè)性信息表示33VS顯式建模個(gè)性化信息客觀評(píng)價(jià)個(gè)性化屬性回復(fù)準(zhǔn)確率給定帶有個(gè)性化屬性信息的

結(jié)構(gòu)化數(shù)據(jù)給定帶有個(gè)性化偏好信息的

自然語言描述性段落人工評(píng)價(jià)回復(fù)是否包含個(gè)性隱式建模個(gè)性化信息個(gè)性化回復(fù)生成代表性工作自由文本描述的個(gè)性信息結(jié)構(gòu)化個(gè)性信息表示Zhanget

al.

(2018)ACLQianet

al.

(2018)

IJCAI34NIPSConvAI2個(gè)性化聊天回復(fù)生成35?

聊天機(jī)器人的目標(biāo)是“像”人?人的一個(gè)特性是具備個(gè)性化?

屬性信息?

說話風(fēng)格?機(jī)器人能否模擬人的個(gè)性生成回復(fù)?

將個(gè)性化信息加入到對(duì)話生成模型中?

實(shí)現(xiàn)生成回復(fù)的個(gè)性化和多樣性?

發(fā)表于IJCAI2019引入個(gè)性化信息提高對(duì)話生成的多樣性Haoyu

Song,Wei-NanZhang,YimingCui,DongWang,TingLiu.ExploitingPersonaInformationforDiverseGeneration

of

Conversational

Responses[C].IJCAI201936風(fēng)格化回復(fù)的直觀印象Iwant

acupof

americano.Having

hereortakeaway?Takeaway,

Thanks!Can

I

helpyou?You’rewelcome.37風(fēng)格化回復(fù)的直觀印象OK!Thesameas

usualandalsotake

away

hah?Hibuddy!

Whatwouldyou

liketodrink

today?Iwant

acupof

americano.Iwant

acupof

americano.Welcome,

havea

niceday!Having

hereortakeaway?YehSure,Thanks!Takeaway,

Thanks!Can

I

helpyou?You’rewelcome.38已有風(fēng)格化文本生成工作39已有風(fēng)格化文本生成工作40詞/短語替換模型規(guī)則學(xué)習(xí)對(duì)抗學(xué)習(xí)41風(fēng)格化生成技術(shù)對(duì)抗生成模型編碼解碼模型Prabhumoyeetal.

(2018)

ACLLiet

al.

(2018)

NAACLFuet

al.

(2018)

AAAI風(fēng)格化回復(fù)：

一個(gè)初步的嘗試?

首次利用遷移學(xué)習(xí)進(jìn)行風(fēng)格化回復(fù)生成?

首次提出類圖靈測(cè)試的回復(fù)風(fēng)格人工評(píng)價(jià)方法42VS任務(wù)型對(duì)話（任務(wù)執(zhí)行）（Task-oriented

Dialogue）典型應(yīng)用：智能助手人機(jī)對(duì)話主要技術(shù)方向特定域內(nèi)輸入和輸出的空間有限盡快完成任務(wù)結(jié)束對(duì)話為了完成某項(xiàng)任務(wù)而達(dá)到某個(gè)目標(biāo)輸入和輸出空間無限大盡可能延續(xù)對(duì)話沒有明確的對(duì)話目標(biāo)開放域聊天（聊天）（Open

Domain

Chatting）典型應(yīng)用：聊天機(jī)器人43對(duì)話狀態(tài)（Dialogue

state）出發(fā)地=NULL到達(dá)地

=北京出發(fā)時(shí)間=NULL對(duì)話管理（DM）知識(shí)庫(kù)(KB)及

APIs自然語言理解（NLU）任務(wù)型對(duì)話系統(tǒng)的結(jié)構(gòu)語義幀（Semanticframe）領(lǐng)域：機(jī)票意圖：訂機(jī)票語義槽：到達(dá)地=北京狀態(tài)追蹤

（DST）策略優(yōu)化

（DPO）假設(shè)/觀測(cè)（Hypothesis/Observation）幫我訂一張去北京的機(jī)票自然語言生成（NLG）對(duì)話動(dòng)作（Dialogue

action）詢問(出發(fā)地)語音識(shí)別（ASR）語音合成（TTS）

領(lǐng)域識(shí)別

意圖識(shí)別

語義槽填充

（Text

response）請(qǐng)問您從哪里出發(fā)？用戶文本回復(fù)語音信號(hào)44任務(wù)型對(duì)話NLU的研究熱點(diǎn)?意圖識(shí)別與槽填充聯(lián)合建模?標(biāo)注數(shù)據(jù)不足條件下的NLU45任務(wù)型對(duì)話NLU的研究熱點(diǎn)?意圖識(shí)別與槽填充聯(lián)合建模?標(biāo)注數(shù)據(jù)不足條件下的NLU46意圖識(shí)別與槽填充聯(lián)合建模?意圖識(shí)別與槽填充不是相互獨(dú)立而是緊密聯(lián)系的?

傳統(tǒng)獨(dú)立的建模意圖識(shí)別和槽填充，既會(huì)引出錯(cuò)誤級(jí)聯(lián)，也無法

利用共有的知識(shí)。?

例如：如果這句話意圖是WatchMovie，那么這句話包含的Slot槽值應(yīng)該

是電影相關(guān)而不是音樂相關(guān)47已有工作[ZhangandWang,2016][Liuand

Lane,

2016][Gooet

al,

2018][Li

etal,

2018]48?系統(tǒng)架構(gòu)圖StoryFishFindencesSent基于Stack-propagation的聯(lián)合學(xué)習(xí)?

Stack-propagation?

一種多任務(wù)學(xué)習(xí)框架?

任務(wù)之間有層次依賴關(guān)系[Ongoingwork]

49Sentences

FindFishStoryIntentDetectionEncoderTaskBTaskBEncoderTask

ATask

A(a)Multi-taskframework(b)Stack-propagationdifferentiablelinkIntents

SearchSESearchSEPlay_musicPlay_musicGatedmechanismOOI_music_nameI_music_nameB_music_nameB_movie_nameOOI_movie_nameI_movie_nameB_movie_nameB_movie_name(b)Our

Synchronous

Intent-Augmented

mechanism(a)The

prior

work

intent-gated

mechansimIntentDetectionPredicted

SlotsPredicted

SlotsGold

SlotsGold

SlotsIntents實(shí)驗(yàn)結(jié)果50任務(wù)型對(duì)話NLU的研究熱點(diǎn)?意圖識(shí)別與槽填充聯(lián)合建模?標(biāo)注數(shù)據(jù)不足條件下的NLU51?

動(dòng)機(jī)?

對(duì)話技術(shù)平臺(tái)需要用戶上傳大量的標(biāo)注數(shù)據(jù)?

能否幫助用戶自動(dòng)擴(kuò)充標(biāo)注數(shù)據(jù)，減小標(biāo)注工作量？標(biāo)注數(shù)據(jù)的自動(dòng)擴(kuò)充whereisthe

<distance>

<poitype>canyoufindthe<distance><poitype>

to

megivemetheaddresstothe

<distance>

<poitype>Seq2Seq

Generationwhereisthe

nearestshopping

mallcanyoufindthenearest

reststop

to

megivemetheaddressto

the

near

groceryshowmethe<distance>

<poi

type>#1showmethe<distance>

<poi

type>#2showmethe<distance>

<poi

type>#3showmethe

[closest]<distance>[restaurant]<poitype>Yutai

Hou,Yijia

Liu,WanxiangCheandTing

Liu.

DataAugmentationfor

Dialogue

Language

Understanding.

COLING

2018.showmethe

<distance>

<poitype>

Diverse

Ranks

Incorporation

Surface

Realisation

Delexicalisation

Augmented

UtteranceOne

Utterance52?

模型?

Seq2Seq模型?

相似的訓(xùn)練數(shù)據(jù)構(gòu)成“復(fù)述”對(duì)find

methe

<distance>

routeto

<poi

type>(5

.

0)

istherea

<distance>

<poi

type>(1.

0)

give

methe

<distance>

routeto

<poi

type>(4

.

4)

l

'

m

desiring

to

eatatsome

<poi

type>

isthere

any

in

<distance>find

methe

<distance>

routeto

<poi

type>

＃1→

is

there

a

<distance>

<poi

type>find

me

the

＜dis