上海站上海站Al+-研發(fā)數(shù)字峰會擁抱AI重塑研發(fā)從代碼框架到智能化測試，UI自動化的建設(shè)之路張永杰|科大訊飛科大訊飛高級測試工程師8年移動端開發(fā)測試經(jīng)驗，對各類客戶端的UI測試、專項測試、性能測試等，有較為豐富的探索及實踐，負(fù)責(zé)集團基于移動客戶端的本地和平臺層工具建設(shè)，推動測試技術(shù)在集團內(nèi)的推廣落地，助力集團測試人員持續(xù)提IV.內(nèi)部應(yīng)用成效從每年的需求調(diào)研來看，UI自動化呼聲一直不減NiDD6th的使用，占比達到了43%。20252025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)UI自動化的歷史落地情況NDD6thUI自動化看起來很“簡單”,市面上各種開源的自動化框架搭配起海量的入門級教程，導(dǎo)致前期各業(yè)務(wù)產(chǎn)線幾乎“人手一個”自動化測試“自研”框架可能仍然會不斷的有冗余的投入建設(shè)由于產(chǎn)線的UI自動化用例大部分采用代碼框架的形式進行建設(shè)，而各人的代碼水平的時候，自動化測試用例往往面臨難以為繼的處境2025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)20252025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)外部解決方案中，只有商業(yè)化平臺具備從用例實現(xiàn)到維護的全流程低門檻解決方案，但也存在局限性打開高三7班的課件資料檢查是否能夠正常播放功能用例分析(可實現(xiàn)性識別)自動化步驟描述轉(zhuǎn)換→設(shè)備切換測試環(huán)境→用例執(zhí)行用例維護→用例邏輯變動時維護→數(shù)據(jù)準(zhǔn)備如課件數(shù)據(jù)→其他如設(shè)備適配、環(huán)境變動等→控件查找\代碼編寫→用例的協(xié)作開發(fā)設(shè)計開源解決方案的演化聚焦在編碼階段門檻和成本的商業(yè)化平臺致力于簡化用例實現(xiàn)到維護的過程難UI自動化推進的整體演進策略解決不同產(chǎn)線閉門造成帶來的人力冗余智能化降低門檻，提高UI自動化的編寫效率，降低用2025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)step1:統(tǒng)一標(biāo)準(zhǔn)-支持多種測試場景的應(yīng)用層自動化NiDD6th開發(fā)框架一鍵部署一鍵部署生態(tài)平臺運行支持外圍支持場景能力多端互動用例分發(fā)底層支持AndroidWin國產(chǎn)系統(tǒng)i定位：自動化場景能力覆蓋的應(yīng)用級框架step2:平臺建設(shè)么樣的?如何?完成?演進技術(shù)門檻很高怎么辦?保證產(chǎn)出水平相近?020252025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā) step3:智能化在線編寫支持降低門檻 Al技術(shù)融合通過大模型驅(qū)動的自然語言轉(zhuǎn)低代碼，實現(xiàn)智能化測采用左右分欄“翻譯式”腳本編寫方式，實現(xiàn)自然語2025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)NDD6th我們的產(chǎn)品愿景-“三零”測試：零人工介入(全自動入DD6t零場景遺漏(智能遍歷)、零延時響應(yīng)(實時分析)及，這產(chǎn)生了幾個問題：功能測試實現(xiàn)和自動化測試實現(xiàn)是分裂隔離的，很難建立關(guān)聯(lián)關(guān)系，無法直接衡量自動化測試對功能的覆蓋度，也無法建立從源頭開始的全流程自動生成能力借助Al,我們想：建立一個從功能需求開始，直到最終UI自動化實現(xiàn)的全流程自動生成能力。功能需求功能測試用例功能用例分析(可實現(xiàn)性識別)自動化步驟描述轉(zhuǎn)換用例實現(xiàn)未未來支持多種元素類型在線編輯代碼和語義編寫的混合支持2025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)云端和本地設(shè)備的實時控制一NDD一NDD6th示實現(xiàn)了從需求到功能用例的自動生成打通關(guān)聯(lián)/自定義需求測試項目AiTest②Zyjzhang25測試框架/測試框架設(shè)計詳情/學(xué)生數(shù)據(jù)匯總頁面數(shù)據(jù)…◎最新更新時間為：2025-05-0815:54:01●AiTest設(shè)計·人工設(shè)計模型：組合模型序號需求ID2025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)智能翻譯式的自動化編寫平臺NiDD6t在進行UI自動化平臺初期建設(shè)的時候，我們參考了傳統(tǒng)框架上，PO的設(shè)計思想；基于該設(shè)計思想下，所有的元素、步驟均可進行復(fù)用，從而提高效率，降低腳本的維護成本；所有的交互均無需和代碼交涉，此外：借助Al,我們實現(xiàn)了從自然語義到低代碼步驟的自動生成元蒸別名：元赤值：8四取消第定D點擊元素【設(shè)置-坐標(biāo)軸】點擊元素【中文】如果(判斷【詞匯測試】存在)·使用adb返回主頁面愉入1④執(zhí)行ADBadbshellinputkeye中文20252025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)多步驟自動轉(zhuǎn)換，從需求到自動化用例的全能力要素實現(xiàn)具備了從需求到自動化用例自動生成的全能力要素具備了從需求到自動化用例自動生成的全能力要素中110:06◎田說2做國西面臨城入雙果記憶放asemt頁面結(jié)em戶個執(zhí)行后，繼續(xù)進行下一輪生成務(wù)2025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)費用問題生成效果問題生成速度問題在UI自動化中，最大的token產(chǎn)生來自于基于Dom技術(shù)的頁面信息，裁剪手段如-刪除視界外的元素信息-刪除對大模型決策無用的屬性，如：-刪除非屬性值均為空的節(jié)點元素2025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)實現(xiàn)點解析通過在提示詞內(nèi)進行約束，僅允許輸出關(guān)鍵信息，例如，雖然大模型可以輸出要元素完整的所有信息，但仍然約束只給出一個唯一標(biāo)識值如id編碼補全由于后續(xù)仍然會需要用到元素的其他值如text,但是由于大模型的輸出進行了裁剪，不包含該項內(nèi)容了，因此需要編碼通過唯一標(biāo)識進行反查，反向再補全所有所需信息2025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)實現(xiàn)點解析prompt使用提示詞框架編寫提示詞的原因在于它們提供了系統(tǒng)化的方法來設(shè)計有效的提示，使得用戶能夠更準(zhǔn)確地指導(dǎo)Al模型完成特定任務(wù)。這些框架可以幫助用戶明確表達自己的從而獲得更好的結(jié)果。此外，它們還能幫助避免歧義，減少試錯次數(shù)，提高工作效率。每種框架都有其獨特的優(yōu)點和適用場景，可以根據(jù)實際需求選擇最合適的框架來優(yōu)化與常見的提示詞框架類型：#Role:文字排版大師-description:使用ASCII符號和Emoji表情符號來優(yōu)化排版已有信息，提供更好的閱讀體驗-為用戶提供更好的閱讀體驗，讓信息更易于理解增強信息可讀性，提高用戶專注度-排版方式不應(yīng)該影響信息的本質(zhì)和準(zhǔn)確性-熟練掌握排版技巧，能夠根據(jù)情境使用不同的符號進行排版有較強的審美和文藝能力作為文字排版大師，將會在用戶輸入信息之后，使用ASCII符號和Emoji表情符號進行排版，提供更好的閱讀體驗。-排版完畢之后，將會將整個信息返回給用戶。20252025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)實現(xiàn)點解析生成策略：效果優(yōu)先和速度優(yōu)先NiDD6t樹、Ocr、視覺識別；三種各有優(yōu)缺點多，且無法支持webview內(nèi)的控件識別但是無法支持非文字類控件-視覺識別：幾乎可以支持所有類型控件，但是對非主流App的識別效果支持的不夠好基于三種方式的優(yōu)缺點，我們設(shè)計了兩種生成策略優(yōu)先保障生成的速度，同時獲取這三種類型的控件，誰先優(yōu)先保障生成的效果，同時獲取這三種類型的控件，如果Dom樹有結(jié)果且結(jié)果正確，那么優(yōu)先采用Dom樹，再次視覺識別，再次Ocr2025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)20252025Al+-研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)NDDNDDwhatarethecategoriesi身set-of-mark是對圖像進行預(yù)處理的步驟：通過對圖像進行預(yù)先的分割，并給予分割區(qū)域以標(biāo)記；再把做過標(biāo)記的圖像給視覺處理模型如GPT4V進行處理，而不是直接將原始的圖片直接交給視覺處理模型；可以獲得比直接輸入原始圖片更好的理解效果。安裝出5854萬1398MB安裝今日為你打造DeepSeek滿血識圖版出5854萬1398MB安裝今日為你打造DeepSeek滿血識圖版AIAI智能聊天對話問答小助手時間、自由和有用的經(jīng)驗±20萬(43MB出99億(15安裝安裝安裝官方正版，三億人都愛玩的國民…安裝±5