ICS35160

CCSL.61

中華人民共和國國家標(biāo)準(zhǔn)

GB/T45087—2024

人工智能服務(wù)器系統(tǒng)性能測試方法

Artificialintelligence—Performancetestingmethodsforserversystems

2024-11-28發(fā)布2024-11-28實(shí)施

國家市場監(jiān)督管理總局發(fā)布

國家標(biāo)準(zhǔn)化管理委員會

GB/T45087—2024

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范圍

1………………………1

規(guī)范性引用文件

2…………………………1

術(shù)語和定義

3………………1

縮略語

4……………………3

測試模式

5…………………4

封閉模式

5.1……………4

開放模式

5.2……………4

訓(xùn)練性能測試

6……………4

測試過程

6.1……………4

訓(xùn)練測試要求

6.2………………………5

訓(xùn)練測試結(jié)果

6.3………………………6

測試場景

6.4……………7

測試場景配置要求

6.5…………………11

指標(biāo)項(xiàng)及測試方法

6.6…………………12

訓(xùn)練用測試系統(tǒng)要求

6.7………………16

推理性能測試

7……………17

測試過程

7.1……………17

推理測試要求

7.2………………………17

推理測試結(jié)果

7.3………………………18

測試場景

7.4……………18

場景配置要求

7.5………………………24

指標(biāo)項(xiàng)及測試方法

7.6…………………24

推理用測試系統(tǒng)要求

7.7………………29

附錄資料性人工智能服務(wù)器系統(tǒng)性能測試工具示例

A()……………31

附錄規(guī)范性訓(xùn)練測試要求

B()AUTOML……………32

訓(xùn)練要求

B.1……………32

訓(xùn)練結(jié)果日志要求

B.2…………………32

附錄規(guī)范性測試代碼公開規(guī)則

C()……………………33

通則

C.1…………………33

訓(xùn)練測試代碼公開規(guī)則

C.2……………33

推理測試代碼公開規(guī)則

C.3……………33

附錄資料性測試場景類型說明

D()……………………35

圖像識別

D.1……………35

Ⅰ

GB/T45087—2024

物體檢測

D.2……………35

語義分割

D.3……………35

推薦

D.4…………………35

自然語言處理

D.5………………………35

語音識別

D.6……………35

光學(xué)字符識別

D.7………………………36

人臉識別

D.8……………36

多模態(tài)

D.9………………36

附錄資料性能效及效率指標(biāo)項(xiàng)和測試方法

E()………37

訓(xùn)練

E.1…………………37

推理

E.2…………………38

參考文獻(xiàn)

……………………40

Ⅱ

GB/T45087—2024

前言

本文件按照標(biāo)準(zhǔn)化工作導(dǎo)則第部分標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則的規(guī)定

GB/T1.1—2020《1:》

起草

。

本文件由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會提出并歸口

(SAC/TC28)。

本文件起草單位中國電子技術(shù)標(biāo)準(zhǔn)化研究院華為技術(shù)有限公司浪潮電子信息產(chǎn)業(yè)股份有限公

:、、

司英特爾中國有限公司平頭哥上海半導(dǎo)體技術(shù)有限公司科大訊飛股份有限公司新華三信息技

、()、()、、

術(shù)有限公司超威半導(dǎo)體產(chǎn)品中國有限公司北京航空航天大學(xué)中科寒武紀(jì)科技股份有限公司南京

、()、、、

南瑞瑞騰科技有限責(zé)任公司中國南方電網(wǎng)有限責(zé)任公司超高壓輸電公司石化盈科信息技術(shù)有限責(zé)任

、、

公司中國電信股份有限公司廣東研究院上海燧原科技股份有限公司中國科學(xué)院軟件研究所北京壁

、、、、

仞科技開發(fā)有限公司上海阡視科技有限公司上海超級計算中心上海文鰩信息科技有限公司美的集

、、、、

團(tuán)上海有限公司國科礎(chǔ)石重慶軟件有限公司上海人工智能研究院有限公司四川華鯤振宇智能

()、()、、

科技有限責(zé)任公司深圳鯤云信息科技有限公司中國鐵建股份有限公司中鐵第五勘察設(shè)計院集團(tuán)有

、、、

限公司西南科技大學(xué)

、。

本文件主要起草人董建徐洋張琦王莞爾曹曉琦黃劍彬梁朝明鮑薇吳韶華王海寧

:、、、、、、、、、、

林曉東馬珊珊高慧張藝伯陶玉梅楊雨澤鄭會平劉如冰李嵐泊紀(jì)拓欒鐘治程歸鵬黃現(xiàn)翠

、、、、、、、、、、、、、

牧軍石超葉珩王寧劉東慶李先緒師春雨梅敬青孟令中丁瑞全程秋林吳庚郁華真張丹丹

、、、、、、、、、、、、、、

仲凱韜任沛傅欣杰胡艷玲宋海濤白士玉劉東欒麗紅李棟鄭中俞文心

、、、、、、、、、、。

Ⅲ

GB/T45087—2024

引言

人工智能服務(wù)器系統(tǒng)包含人工智能服務(wù)器集群和高性能計算設(shè)施等形態(tài)是各類深度學(xué)習(xí)模型

、,

包含大規(guī)模預(yù)訓(xùn)練模型訓(xùn)練和推理的核心載體是各行業(yè)應(yīng)用人工智能技術(shù)提高生產(chǎn)效率的核心工

(),

具人工智能服務(wù)器系統(tǒng)專為處理人工智能計算任務(wù)設(shè)計在架構(gòu)運(yùn)算方式和用途用法上與通用服

。,、,

務(wù)器系統(tǒng)有較大差別其測試過程負(fù)載和指標(biāo)等皆有獨(dú)特性本文件提出人工智能服務(wù)器系統(tǒng)性能

,、,。

基準(zhǔn)測試的方法并對基準(zhǔn)測試工具的功能和公平性提出要求

,。

本文件的發(fā)布機(jī)構(gòu)提請注意聲明符合本文件時可能涉及與人工智能服務(wù)器系統(tǒng)性

,,7.4.2、7.7.1

能測試方法相關(guān)專利的使用

。

本文件的發(fā)布機(jī)構(gòu)對于該專利的真實(shí)性有效性和范圍無任何立場

、。

該專利持有人已向本文件的發(fā)布機(jī)構(gòu)承諾他愿意同任何申請人在合理且無歧視的條款和條件

,

下就專利授權(quán)許可進(jìn)行談判該專利持有人的聲明已在本文件的發(fā)布機(jī)構(gòu)備案相關(guān)信息可以通過以

,。,

下聯(lián)系方式獲得

。

專利持有人中國電子技術(shù)標(biāo)準(zhǔn)化研究院

:

地址北京市東城區(qū)安定門東大街號

:1

請注意除上述專利外本文件的某些內(nèi)容仍可能涉及專利本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的

,。

責(zé)任

。

Ⅳ

GB/T45087—2024

人工智能服務(wù)器系統(tǒng)性能測試方法

1范圍

本文件界定了服務(wù)器系統(tǒng)性能測試模式描述了人工智能服務(wù)器系統(tǒng)訓(xùn)練性能和推理性能測試

,

方法

。

本文件適用于人工智能服務(wù)器系統(tǒng)的性能測試與評價

。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款其中注日期的引用文

。,

件僅該日期對應(yīng)的版本適用于本文件不注日期的引用文件其最新版本包括所有的修改單適用于

,;,()

本文件

。

信息技術(shù)人工智能術(shù)語

GB/T41867—2022

3術(shù)語和定義

界定的以及下列術(shù)語和定義適用于本文件

GB/T41867—2022。

31

.

被測系統(tǒng)systemundertest

處理測試者給出的測試作業(yè)并返回符合要求結(jié)果的系統(tǒng)

,。

注被測系統(tǒng)由人工智能服務(wù)器系統(tǒng)硬件算子實(shí)現(xiàn)庫機(jī)器學(xué)習(xí)框架軟件模型編譯組件和其他必要軟硬件組成

:、、、。

32

.

被測者testedparty

提供被測系統(tǒng)和測試信息并協(xié)助測試實(shí)施的機(jī)構(gòu)或個人