面向AI研發(fā)語(yǔ)言模型訓(xùn)練的可解釋性分析與驗(yàn)證2025設(shè)計(jì)編程測(cè)試調(diào)試

2EMNLP’23,

ISSTA’24基于語(yǔ)言模型的代碼編輯

3FSE’23,

FSE’21,ISSTA’20基于語(yǔ)言模型的測(cè)試生成LLMOptimized

testinitializationand

mutationRAG

4TSE’19,

ASE’18,

ICSE’

5基于語(yǔ)言模型的代碼調(diào)試（調(diào)試過(guò)程生成）訓(xùn)練數(shù)據(jù)開(kāi)發(fā)過(guò)程倉(cāng)庫(kù)代碼模型IDE訓(xùn)練軟件工程語(yǔ)言模型的“套路”清洗

6訓(xùn)練部署訓(xùn)練數(shù)據(jù)開(kāi)發(fā)過(guò)程倉(cāng)庫(kù)代碼模型IDE訓(xùn)練軟件工程語(yǔ)言模型的“套路”清洗訓(xùn)練部署模型為什么會(huì)有這樣的預(yù)測(cè)？模型的預(yù)測(cè)是如何形成的？我們?nèi)绻m正和調(diào)整模型預(yù)測(cè)？

7訓(xùn)練數(shù)據(jù)開(kāi)發(fā)過(guò)程倉(cāng)庫(kù)代碼模型IDE訓(xùn)練軟件工程語(yǔ)言模型的“套路”清洗訓(xùn)練部署SE

for(AI

for

SE)基礎(chǔ)框架訓(xùn)練樣本歸因表征歸因仿真驗(yàn)證(數(shù)字孿生)

8案例研究：交互式代碼編輯(CoEdPilot)CoEdPilot:

Recommending

Code

Edits

with

Learned

Prior

EditRelevance,

Project-wise

Awareness,

and

Interactive

Nature(ISSTA

2024).

9編輯定位研究工作案例：代碼編輯工具CoEdPilotCoEdPilot:

Recommending

Code

Edits

with

Learned

Prior

EditRelevance,

Project-wise

Awareness,

and

Interactive

Nature(ISSTA

2024).

10編輯生成研究工作案例：代碼編輯工具CoEdPilotCoEdPilot:

Recommending

Code

Edits

with

Learned

Prior

EditRelevance,

Project-wise

Awareness,

and

Interactive

Nature(ISSTA

2024).

11下一輪編輯定位

12滑動(dòng)窗口（編輯前）testing:

added

name

matcher

andsanitizerThe

matcher

is

responsible

for

sanitizing

anduniquing

the

test

and

benchmark

names

andthus

…commit消息前編輯（已經(jīng)發(fā)生的編輯）基本想法

13testing:

added

name

matcher

andsanitizerThe

matcher

is

responsible

for

sanitizing

anduniquing

the

test

and

benchmark

names

andthus

…commit消息前編輯（已經(jīng)發(fā)生的編輯）基本想法

14滑動(dòng)窗口（編輯后）代碼編輯的基本設(shè)計(jì)想法模型任務(wù)分解：

15協(xié)同編輯評(píng)估模型依賴分析模型編輯生成模型反饋設(shè)計(jì)：反饋信息增量預(yù)測(cè)和矯正一體化代碼編輯的基本設(shè)計(jì)想法模型任務(wù)分解：

16協(xié)同編輯評(píng)估模型依賴分析模型編輯生成模型反饋設(shè)計(jì)：反饋信息增量預(yù)測(cè)和矯正一體化代碼編輯的基本設(shè)計(jì)想法模型任務(wù)分解：

17協(xié)同編輯評(píng)估模型依賴分析模型編輯生成模型反饋設(shè)計(jì)：反饋信息增量預(yù)測(cè)和矯正一體化步驟1:協(xié)同編輯評(píng)估Code

ACode

BCodeBertdepDep

ReasonDependency

AnalyzerCodeBertSemanticRelvanceCode

ACode

BCo-changePredication

18步驟2:編輯位置預(yù)測(cè)(指令微調(diào))Replace

19Keep步驟3:編輯內(nèi)容生成(指令微調(diào))

20反饋設(shè)計(jì)

21實(shí)驗(yàn)結(jié)果：編輯位置數(shù)據(jù)集收集

22實(shí)驗(yàn)結(jié)果：編輯內(nèi)容數(shù)據(jù)集收集

23實(shí)驗(yàn)結(jié)果：反饋效果數(shù)據(jù)集收集

24訓(xùn)練數(shù)據(jù)開(kāi)發(fā)過(guò)程倉(cāng)庫(kù)代碼模型IDE訓(xùn)練軟件工程語(yǔ)言模型清洗訓(xùn)練部署SE

for(AI

for

SE)基礎(chǔ)框架訓(xùn)練樣本歸因表征歸因仿真驗(yàn)證(數(shù)字孿生)

25哪些訓(xùn)練數(shù)據(jù)影響了這次預(yù)測(cè)?訓(xùn)練數(shù)據(jù)集代碼模型Koh,

Pang

Wei,

and

Percy

Liang.

"Understandingblack-box

predictions

viainfluence

functions."

International

conference

on

machine

learning.

PMLR,

2017.定義：給定一個(gè)訓(xùn)練樣本??,如果我們對(duì)??提權(quán)或者降權(quán)?，那么訓(xùn)練模型會(huì)發(fā)生什么變化?

26哪些訓(xùn)練數(shù)據(jù)影響了這次預(yù)測(cè)?訓(xùn)練數(shù)據(jù)集代碼模型Koh,

Pang

Wei,

and

Percy

Liang.

"Understandingblack-box

predictions

viainfluence

functions."

International

conference

on

machine

learning.

PMLR,

2017.定義：給定一個(gè)訓(xùn)練樣本??,如果我們對(duì)??提權(quán)或者降權(quán)?，那么訓(xùn)練模型會(huì)發(fā)生什么變化?擬合測(cè)試樣本的方向

27擬合訓(xùn)練樣本的方向所有樣本的交互效應(yīng)改進(jìn)方法Liu,

Ruofan,

Yun

Lin,

et

al.

"Debugging

and

explaining

metriclearningapproaches:

An

influence

function

based

perspective."

NeurIPS’22.基本想法：給定模型?0，我們生成多個(gè)變異模型?1,?2,…,??,來(lái)預(yù)估擬合一個(gè)訓(xùn)練樣

本??和一個(gè)測(cè)試樣本??的方向協(xié)同效應(yīng)Empirical

Influence

Function

28哪些訓(xùn)練數(shù)據(jù)影響了這次預(yù)測(cè)?訓(xùn)練數(shù)據(jù)集代碼模型Koh,

Pang

Wei,

and

Percy

Liang.

"Understandingblack-box

predictions

viainfluence

functions."

International

conference

on

machine

learning.

PMLR,

2017.定義：給定一個(gè)訓(xùn)練樣本??,如果我們對(duì)??提權(quán)或者降權(quán)?，那么訓(xùn)練模型會(huì)發(fā)生什么變化?擬合測(cè)試樣本的方向擬合訓(xùn)練樣本的方向所有樣本的交互效應(yīng)

29將影響函數(shù)應(yīng)用于代碼編輯生成任務(wù)有益訓(xùn)練樣本相關(guān)度分析

30有害訓(xùn)練樣本相關(guān)度分析編輯模型的預(yù)測(cè)分析到的相關(guān)樣本

31編輯定位模型的預(yù)測(cè)訓(xùn)練樣本歸因

32編輯定位模型的預(yù)測(cè)

33訓(xùn)練樣本歸因訓(xùn)練樣本會(huì)“打架”代碼替換代碼刪除+新增代碼替換代碼刪除+新增訓(xùn)練樣本會(huì)“打架”普遍“打架”現(xiàn)象:過(guò)長(zhǎng)Commit

Message帶來(lái)過(guò)多沖突

36訓(xùn)練數(shù)據(jù)集代碼模型標(biāo)注清洗編程代碼訓(xùn)練數(shù)據(jù)分析與定位

37代碼數(shù)據(jù)重標(biāo)注代碼訓(xùn)練數(shù)據(jù)合并訓(xùn)練數(shù)據(jù)開(kāi)發(fā)過(guò)程倉(cāng)庫(kù)代碼模型IDE訓(xùn)練軟件工程語(yǔ)言模型清洗訓(xùn)練部署SE

for(AI

for

SE)基礎(chǔ)框架訓(xùn)練樣本歸因表征歸因仿真驗(yàn)證(數(shù)字孿生)

38深度學(xué)習(xí)即表征學(xué)習(xí)

39可視化的表征空間

40可視化的表征空間Yang,

Xianglin,

Yun

Lin,

etal.

"DeepDebugger:

An

Interactive

Time-TravellingDebugging

Approach

for

Deep

Classifiers."

FSE.

2023.Yang,

Xianglin,

Yun

Lin,

et

al.

"Deepvisualinsight:

Time-travelling

visualizationforspatio-temporal

causality

of

deep

classification

training."

AAAI

2022.

41訓(xùn)練過(guò)程中噪音樣本表征運(yùn)動(dòng)e1e2e3e4e5代碼表征分析（搜索任務(wù)）CodeRepresentation

43Natural

Language

RepresentationMRR:

0.31高層語(yǔ)義編輯距離token編輯距離ATACGAAAG…

44………高層語(yǔ)義編輯距離（代碼-代碼）def

max_version(self):data

=

self.version_downloadsif

not

data:return

None,

0return

max(data.items(),

key=lamda

item:

item[1])def

min_version(self):data

=

self.version_downloadsif

not

data:return

(None,

0)return

min(data.items(),

key=lamda

item:

item[1])表征相似度：0.912

45高層語(yǔ)義編輯距離（代碼-代碼）def

max_version(self):data

=

self.version_downloadsif

not

data:return

None,

0return

max(data.items(),

key=lamda

item:

item[1])def

min_version(self):data

=

self.version_downloadsif

not

data:return

(None,

0)return

min(data.items(),

key=lamda

item:

item[1])

46高層語(yǔ)義編輯距離（代碼-代碼）def

max_version(self):data

=

self.version_downloadsif

not

data:return

None,

0return

max(data.items(),

key=lamda

item:

item[1])def

min_version(self):data

=

self.version_downloadsif

not

data:return

(None,

0)return

min(data.items(),

key=lamda

item:

item[1])

47高層語(yǔ)義編輯距離（代碼-代碼）

48高層語(yǔ)義編輯距離（代碼-代碼）MRR:0.38

49加入表征對(duì)齊預(yù)訓(xùn)練任務(wù)（對(duì)比學(xué)習(xí)）MRR:0.50

(+0.12)訓(xùn)練數(shù)據(jù)開(kāi)發(fā)過(guò)程倉(cāng)庫(kù)代碼模型IDE訓(xùn)練軟件工程語(yǔ)言模型清洗訓(xùn)練部署SE

for(AI

for

SE)基礎(chǔ)框架訓(xùn)練樣本歸因表征歸因仿真驗(yàn)證(數(shù)字孿生)

50基本想法：從提交歷史重現(xiàn)“當(dāng)年的”開(kāi)發(fā)過(guò)程代碼提交賦能預(yù)估準(zhǔn)確率生產(chǎn)力

51實(shí)驗(yàn)從項(xiàng)目舊版本commit開(kāi)始（一個(gè)commit可視為若干次編輯的集合），初始未完成編輯集合=所有編輯，初始先前編輯集合為空模擬的程序員作出第一個(gè)編輯，并輸入commit

message作為模型的用戶描述檢查是否有未完成的編輯。若無(wú)，流程結(jié)束驗(yàn)證編輯行定位器返回的編輯位置是否與真實(shí)的編輯位置匹配。如果有匹配的位置，從中選擇一個(gè)編輯位置繼續(xù)進(jìn)行。根據(jù)生成的編輯內(nèi)容最高的BLEU4分?jǐn)?shù)評(píng)估生成的編輯質(zhì)量。如果BLEU

4

分?jǐn)?shù)介于50

到

100，則用戶會(huì)在推薦內(nèi)容基礎(chǔ)上進(jìn)行手動(dòng)修改。如果沒(méi)有匹配，從未完成的編輯集合中選擇下一個(gè)編輯位置。如果BLEU4分?jǐn)?shù)小于50，則用戶會(huì)拒絕推薦內(nèi)容，手動(dòng)編輯。如果BLEU4分?jǐn)?shù)等于100，則用戶直接接受推薦內(nèi)容，無(wú)需手動(dòng)編輯。將此次完成的編輯從未完成編輯集合中移除，并加入到先前編輯集合中

52

53定義用戶查看Locator推薦的單個(gè)位置所