Info

Q

極客傳媒從技術(shù)賦能到范式革新：快手安全大模型驅(qū)動(dòng)內(nèi)容審核智能化重塑演講人：劉夢(mèng)怡快手安全算法中心負(fù)責(zé)人AiCon全球人工智能開發(fā)與應(yīng)用大會(huì)目錄01

內(nèi)容安全業(yè)務(wù)背景與挑戰(zhàn)02

大模型時(shí)代的變革與機(jī)遇03

快手安全大模型核心技術(shù)

未來技術(shù)與業(yè)務(wù)大圖展望.1內(nèi)容安全業(yè)務(wù)背景與挑戰(zhàn)全球人工智能開發(fā)與應(yīng)用大會(huì)InfoQ極客傳媒04違禁品/毒品/政治敏感高任酸間+白塘鉆木取火新發(fā)現(xiàn)領(lǐng)域?qū)＜抑R(shí)依賴02AI新玩法、文本隱晦正負(fù)關(guān)元所為科比在家錄罐風(fēng)險(xiǎn)對(duì)抗強(qiáng)變異快傳統(tǒng)機(jī)器學(xué)習(xí)時(shí)代依賴大量審核標(biāo)注數(shù)據(jù)進(jìn)行模型訓(xùn)練

「有多少人工就有多少智能!」內(nèi)容安全業(yè)務(wù)背景與挑戰(zhàn)

快手技術(shù)

安全算法團(tuán)隊(duì)審核標(biāo)準(zhǔn)復(fù)雜多變審核標(biāo)準(zhǔn)/尺度多變哪些屬于軟色情擦邊?Info

Q

極客傳媒全球人工智能開發(fā)與應(yīng)用大會(huì)○大模型時(shí)代的變革與機(jī)遇全球人工智能開發(fā)與應(yīng)用大會(huì)InfoQ極客傳媒其巨大的數(shù)據(jù)和參數(shù)規(guī)模，實(shí)現(xiàn)了智能的「涌現(xiàn)」,展現(xiàn)出「類人智能」(參數(shù)、層數(shù)等)

迅猛發(fā)展期阿里巴巴M6100000億GoogleSwitchtransformer

華為16000億

盤古大模型探索沉淀期

10850億GPT4-I

10000億(預(yù)估)5300億

GooglePaIM-EOpenAl

5660億Tu

1750億

OpenAl

文2

型基于規(guī)則的

Google

OpenAl

Go

le

微軟

DALL-E

2數(shù)據(jù)處理

6萬

百萬-千萬級(jí)

3

億15億110億

6.4億時(shí)間1950200520142018

20192020202120222023

語(yǔ)言模型CV

模型T5og600億心大模億NLGNLGDIAMTNV大模型時(shí)代的變革與機(jī)遇大模型，本質(zhì)上是一個(gè)使用海量數(shù)據(jù)訓(xùn)練而成的深度神經(jīng)網(wǎng)絡(luò)模型人類大腦的神經(jīng)元數(shù)量800+億：其中，大腦皮層包含大約140-160億神經(jīng)元，而小腦包含大約550-700

億神經(jīng)元；也就是說，從2023年以來，千

億

規(guī)模大模型參數(shù)量的「神經(jīng)元」已經(jīng)逼近甚至超越人類，已經(jīng)具備了類人智能的必要條件萌芽期

GPT3

百度少量

LeNet-5

GANBertGPT2Florence120億安全算法團(tuán)隊(duì)品

快手技術(shù)Info

Q

極客傳媒全球人工智能開發(fā)與應(yīng)用大會(huì)多模態(tài)模型OpenAl性能預(yù)訓(xùn)練Pretraining任務(wù)無關(guān)的通用數(shù)據(jù)學(xué)習(xí)(科目一駕駛通識(shí)課學(xué)習(xí))預(yù)訓(xùn)練Pretraining任務(wù)無關(guān)的通用數(shù)據(jù)學(xué)習(xí)(科目一駕駛通識(shí)課學(xué)習(xí))業(yè)務(wù)元數(shù)據(jù)監(jiān)督微調(diào)SFT特定任務(wù)的有監(jiān)督學(xué)習(xí)(科目二特定駕駛?cè)蝿?wù)培訓(xùn))人審數(shù)據(jù)監(jiān)督微調(diào)SFT特定任務(wù)的有監(jiān)督學(xué)習(xí)(科目二特定駕駛?cè)蝿?wù)培訓(xùn))人審數(shù)據(jù)+領(lǐng)域?qū)＜抑R(shí)強(qiáng)化學(xué)習(xí)RLHF對(duì)齊人類反饋的強(qiáng)化學(xué)習(xí)(科目三真實(shí)路況反饋訓(xùn)練)強(qiáng)化學(xué)習(xí)RLHF對(duì)齊人類反饋的強(qiáng)化學(xué)習(xí)(科目三真實(shí)路況反饋訓(xùn)練)HITL人工反饋結(jié)果過去--「填鴨式教學(xué)」一股腦把全部數(shù)據(jù)和標(biāo)簽塞給模型

現(xiàn)在--「循序漸進(jìn)，因材施教」從易到難，分階段針對(duì)性學(xué)習(xí)提升大模型時(shí)代相比于過去，人機(jī)交互模式與模型訓(xùn)練策略的變革大模型時(shí)代的變革與機(jī)遇品快手技術(shù)

安全算法團(tuán)隊(duì)InfoQ極客傳媒全球人工智能開發(fā)與應(yīng)用大會(huì)大模型在內(nèi)容安全應(yīng)用的天然優(yōu)勢(shì)一海量真實(shí)審核數(shù)據(jù)+人工知識(shí)修正(安全專家經(jīng)驗(yàn)

)通用大模型

垂直大模型面向更高性價(jià)比的安全垂直大模型LO-純應(yīng)用級(jí)

L1-基礎(chǔ)定制級(jí)

L2-

深度定制級(jí)需要投入一定的模型研發(fā)和訓(xùn)練成本業(yè)務(wù)適配度高且支持垂直場(chǎng)景快速擴(kuò)展閉源模型API調(diào)用單價(jià)高業(yè)務(wù)適配度低，細(xì)分場(chǎng)景難擴(kuò)展需要較低的模型研發(fā)和訓(xùn)練成本定制模型具備一定的業(yè)務(wù)適配度

快手技術(shù)

安全算法團(tuán)隊(duì)基于少量業(yè)務(wù)數(shù)據(jù)對(duì)通用大模型進(jìn)行微調(diào)對(duì)齊人類在特定業(yè)務(wù)場(chǎng)景的認(rèn)知基于大量業(yè)務(wù)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練；疊加領(lǐng)域知識(shí)注入進(jìn)一步提升效果直接調(diào)用通用大模型，通過構(gòu)造提示詞進(jìn)行簡(jiǎn)單對(duì)話交互獲取信息Info

Q

極客傳媒全球人工智能開發(fā)與應(yīng)用大會(huì)03快手安全大模型核心技術(shù)--多模態(tài)大模型預(yù)訓(xùn)練與微調(diào)InfoQ極客傳媒全球人工智能開發(fā)與應(yīng)用大會(huì)多模態(tài)大模型(MLLMLM)架構(gòu)分類深層融合(deep

fusion)-交叉注意力(cross-attention)

早期融合(early

fusion)

統(tǒng)一嵌入(unified

embedding)標(biāo)準(zhǔn)cross-attention層

定制cross-attention

層

視覺-文本embedding

模塊(Q-former

vs

MLP)視覺-文本統(tǒng)一tokenizer模塊attention

Reference:The

Evolution

of

Multimodal

Model

Architectures.ArXiv

2024.

InfoQ

極客傳媒全球人工智能開發(fā)與應(yīng)用大會(huì)多模態(tài)大模型主流架構(gòu)品快手技術(shù)

安全算法團(tuán)隊(duì)PresentedwithxmindImage/Video/AudioLinear/MLP:LLaVA-1.5/1.6、Qwen2-VL、DeepSeek-VL、PaLM-EQ-former:BLIP-2、InstructBLIP-2、

miniCPT-4、Video-LLaMA④AdcoconCustomCross-atentionLayerMultimodalTransformer

(Enooder-decodkrstylersformerORDecoderonlystyletransformar)e.g.CogVLM、InternVL、mPLUC-Owl2EncoderImage/Video/AudioEncoderImage/Video/Audioe.g.Flamingo、VL-BERT、VL-T5Resampler/LinearLayerlMLP/Q-former/AttentionPoolinge.g.LaVIT、VL-GPT、SEED8→InputTextsafrsn1yaCustomCross-attentionLayer…

…CustomCross-attentionLayerLLM(Decoder-onlyTransformer)LLM(Decoder-onlyTransformer)ntiomef-ate

LayerLLM(Decoder-onlyTransformer)Linear/MLP/Q-formerMultimodal

OutputImage/Video/AudioEmbed

ingLayerBmntctmng

layeSelrenetionLayaSelf-ateniono二O:O:81

…Output

Text0000000000000000Resampler00000000000000000000000InputTextInputTextInputTextO00o0O00:080

9

9

9

0090000Tokenizer⑧OutputOutputLayerEncodero0ootionuppoquao000LayeraycryeayeLargeLanguageModel(Decoder-onlyTransformer)Vision-LanguageConnector(Linear/MLP)t2

t3

t4Image/Video

Encoder(CLIP

ViT-L/336px)Transformer

EncoderTask-1:

指令遵循(lnstruction

following)請(qǐng)描述這張圖片中出現(xiàn)的人物、場(chǎng)景、動(dòng)作等；忽略畫面

上字幕等場(chǎng)景文字，要求簡(jiǎn)短敘述30-50字以內(nèi)Multi-Head

AttentionTask-2:

思維鏈(Chain-of-Thought)請(qǐng)描述這張圖片中出現(xiàn)的人物、場(chǎng)景、動(dòng)作等；判斷是否有***類型的風(fēng)險(xiǎn)，并說明具體理由和過程Task-3:

上下文學(xué)習(xí)(In-Context-Learning)關(guān)于***類型違規(guī)的規(guī)則條款如下：***;

已知視頻標(biāo)題***請(qǐng)結(jié)合以上規(guī)則及視頻畫面、標(biāo)題等內(nèi)容信息；判斷是否有***類型的風(fēng)險(xiǎn)，并說明具體理由和過程多任務(wù)有監(jiān)督指令微調(diào)該訓(xùn)練階段下凍結(jié)視覺編碼器部分參數(shù)，僅對(duì)視覺-文本連接器以及LLM部分參數(shù)層進(jìn)行

微調(diào)，總數(shù)據(jù)量級(jí)約2M

(開源：業(yè)務(wù)=4:1)視覺與多模態(tài)預(yù)訓(xùn)練視覺基座CLIP-ViT框架，多模態(tài)基座以MLP為連接器，且凍結(jié)LLM全部參數(shù)；構(gòu)造200M

開源+40M業(yè)務(wù)高質(zhì)量圖文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練對(duì)齊人類偏好的強(qiáng)化學(xué)習(xí)該訓(xùn)練階段主要針對(duì)模型的推理過程的邏輯合理性和上下文一致性進(jìn)行修正，基于人工偏序關(guān)系的標(biāo)注進(jìn)行優(yōu)化多模態(tài)大模型基礎(chǔ)架構(gòu)與訓(xùn)練策略

多模態(tài)大模型訓(xùn)練三階段Multi-Scale

Encoder

LayerLinear

Projection

of

Flattened

Patches安全算法團(tuán)隊(duì)

快手技術(shù)AiCon全球人工智能開發(fā)與應(yīng)用大會(huì)MLP

LayerNorm

LayerInfo

Q

極

客

傳

媒Embedding

Layert5

tnTokenizer010203t1010203視覺與多模態(tài)預(yù)訓(xùn)練視覺基座CLIP-ViT框架，多模態(tài)基座以MLP

為連接器，且凍結(jié)LLM全部參數(shù)；構(gòu)造200M

開源+40M業(yè)務(wù)高質(zhì)量圖文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練多任務(wù)有監(jiān)督指令微調(diào)該訓(xùn)練階段下凍結(jié)視覺編碼器部分參數(shù)，僅對(duì)視覺-文本連接器以及LLM部分參數(shù)層進(jìn)行

微調(diào)，總數(shù)據(jù)量級(jí)約2M

(開源：業(yè)務(wù)=4:1)對(duì)齊人類偏好的強(qiáng)化學(xué)習(xí)該訓(xùn)練階段主要針對(duì)模型的推理過程的邏輯合理性和上下文一致性進(jìn)行修正，基于人工

偏序關(guān)系的標(biāo)注進(jìn)行優(yōu)化模型一：這張圖片展示了一個(gè)人的腿部，上面有一系列的刀疤。這

些刀疤沿著腿部的長(zhǎng)度延伸，從腿的頂部到腳底，刀疤的數(shù)量和深

度不同，但都表明了一個(gè)暴力事件的發(fā)生。模型二：圖片中展示的是一個(gè)女子的胳膊，胳膊上有幾條紅色的劃

痘，看起來比較深。模型三：很抱歉，由于您提供的圖片內(nèi)容信息不全，我無法進(jìn)行全

面詳細(xì)的分析。請(qǐng)您提供更具體的問題或者信息，我會(huì)盡力幫助您。模型四：抱欺，我無法提供此類信息。模型一：這是一本紅色精美的書，上面有金色的文字和圖案。書的

標(biāo)題是“金印集刊：慶祝中國(guó)金印大藏經(jīng)的60周年紀(jì)念特別版”。書

的內(nèi)容是關(guān)于…模型二：這張圖片展示了一張紀(jì)念鈔的包裝盒。盒子是紅色的，上面有金色的文字和圖案，盒子的正面寫著“慶祝中華人民共和國(guó)

成立五十周年紀(jì)念鈔”,下面是英翻譯“CommemorativeBonknotesforCelebratingthe50th

…模型三：圖中是一張紅色的宣傳單，上面寫著慶祝中華人民共和國(guó)

成立五十周年紀(jì)念幣…模型四：圖片展示的是中華人民共和國(guó)成立五十周年紀(jì)念鈔的包

裝盒，包裝盒整體為紅色，字體為金色。包裝盒的上方寫著“慶祝

中華人民共和國(guó)成立五十周年紀(jì)念鈔”,下方寫著“金質(zhì)微縮珍藏

版”,再下方寫著“CommemorativeBanknotes.模型一：這張圖片展示了一個(gè)人的腿部，腿部上有許多小心形圖案

裝飾。這些裝飾形狀呈現(xiàn)出心形，散布在腿部的不同位置，包括腿

部的上部、中部和下部。模型二：圖片中展示的是一個(gè)穿著白色絲襪的眼，腿放在藍(lán)色的床

上。圖片中有許多粉色愛心圖案，分布在腿的周圍。模型三：抱歉，我無法回答這個(gè)問題，因?yàn)槟]有提供一張圖片

供我分析。如果您能提供一張圖片，我會(huì)很樂意幫助您進(jìn)行全面和

詳細(xì)的分析模型四：圖片展示了一個(gè)人的小腿和腳，小眼上貼著醫(yī)用膠帶，

圖片上還飄浮著許多粉色的愛心。背景是藍(lán)色的床單。模型一：這張圖像展示了一個(gè)人在一個(gè)刺激的活動(dòng)中，他的腿被割

開并滴血。他正在站在一個(gè)椅子上，試圖穩(wěn)定自己的腳。周圍有幾

個(gè)人觀看這個(gè)尷尬場(chǎng)景，其中一個(gè)人手里拿著一根棍子。模型二：這張圖片顯示的是一個(gè)室內(nèi)場(chǎng)景，中心有一個(gè)穿著黑色

短褲和黑色拖鞋的男子，他的上平身赤裸，正站在一個(gè)橙色的塑

料凳子上，他的左服和左臂上有明顯的傷痕和血跡。周圍有幾個(gè)

旁觀者…模型三：抱欺，我無法分析這張圖片的內(nèi)容.模型四：圖片展示了一個(gè)場(chǎng)景，其中幾個(gè)人正在進(jìn)行某種活動(dòng)。

在前景中，有一個(gè)穿著黑色短褲的人站在橙色的凳子上，手持一

個(gè)長(zhǎng)桿。他的腳上穿著一雙黑色的鞋子。在他的旁邊，有另一個(gè)

赤裸上身的人…安全垂直大模型高質(zhì)量業(yè)務(wù)數(shù)據(jù)構(gòu)造黑/灰/白樣本配比采樣領(lǐng)域模型私有化部署開源大模型初

始

化

圖

文

對(duì)齊數(shù)據(jù)規(guī)則過濾相似數(shù)據(jù)去重圖文相關(guān)性匹配

多模態(tài)大模型訓(xùn)練三階段品

快手技術(shù)

安全算法團(tuán)隊(duì)業(yè)務(wù)原始數(shù)據(jù)直播數(shù)據(jù)視頻數(shù)據(jù)舉報(bào)數(shù)據(jù)STEP1:數(shù)據(jù)抽樣打標(biāo)VLM

模型Caption圖像數(shù)據(jù)增廣LLM

文本增廣圖文隨機(jī)配對(duì)STEP3:

數(shù)據(jù)增廣與后處理圖文數(shù)據(jù)增廣STEP2:

數(shù)

據(jù)

過

濾

與

清

洗數(shù)據(jù)過濾條件Info

Q

極客傳媒增廣后圖文

對(duì)齊數(shù)據(jù)清

洗

后

圖

文

對(duì)齊數(shù)據(jù)全球人工智能開發(fā)與應(yīng)用大會(huì)數(shù)據(jù)增廣

多模態(tài)大模型訓(xùn)練三階段多模態(tài)信息抽取與歸納VLM

模型打標(biāo)

結(jié)構(gòu)化數(shù)據(jù)大盤數(shù)據(jù)問題域數(shù)據(jù)用戶反饋涉政暴恐色情低俗未成年問題直播規(guī)則視頻規(guī)則圖文規(guī)則領(lǐng)域模型私有化部署開源大模型聚合歸納內(nèi)容摘要審核結(jié)果規(guī)則條款視覺與多模態(tài)預(yù)訓(xùn)練視覺基座C

LIP-ViT框架，多模態(tài)基座以MLP為連接器，且凍結(jié)LLM全部參數(shù)；構(gòu)造200M

開源+40M業(yè)務(wù)高質(zhì)量圖文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練風(fēng)險(xiǎn)元素識(shí)別實(shí)體信息抽取情感傾向分析業(yè)務(wù)領(lǐng)域?qū)＜夷Ｐ蚎uestion

:

這張圖片中是否包含“毆打?',圖片中是否包含“昏暗”?',‘這張圖片中是否包含”軍事車輛”?Answe

r:

是，圖片中包含毆打。圖片中展示了一個(gè)人正在實(shí)施對(duì)另一個(gè)人進(jìn)行毀打，地上有影子，

一個(gè)人趴在地上似乎在呻吟，而另一個(gè)人似乎正在用腳踢他。,是，圖片中包含昏暗環(huán)境。圖片中展示了一個(gè)人在昏暗環(huán)境中正在實(shí)施對(duì)另一個(gè)人進(jìn)行毆打。背景中可以看到昏暗的色調(diào)和陰影，環(huán)境顯得不明朗和不安全。,否，圖中不包含”軍事車輛”Question

:

這張圖片中是否包含“槍支?",圖片中是否包含“武裝服飾”?Answe

r

:是，圖片中含有槍支。圖片展示了一名身穿軍裝的土兵站在一個(gè)開闊地帶，手持槍支。在土兵的前方有一個(gè)迷彩色的桌子，上面放著一個(gè)標(biāo)有"Start"的牌子，背景中，可以看到紅色的標(biāo)志和一些綠色的植被?！?是，圖片中含有武裝服飾，圖片顯示了兩名穿著迷彩軍裝的人員站在一個(gè)標(biāo)有“Start”字樣的箱子旁邊，看起來像是一個(gè)起點(diǎn)線，他們似乎正在參與某種軍事訓(xùn)練或活動(dòng)。他們身著迷彩服和戴著防護(hù)頭盔，代表著武裝服飾。(a)違規(guī)事實(shí)qa多任務(wù)有監(jiān)督指令微調(diào)該訓(xùn)練階段下凍結(jié)視覺編碼器部分參數(shù)，僅

對(duì)視覺-文本連接器以及LLM部分參數(shù)層進(jìn)行

微調(diào)，總數(shù)據(jù)量級(jí)約2M

(開源：業(yè)務(wù)=4:1)對(duì)齊人類偏好的強(qiáng)化學(xué)習(xí)該訓(xùn)練階段主要針對(duì)模型的推理過程的邏輯合理性和上下文一致性進(jìn)行修正，基于人工偏序關(guān)系的標(biāo)注進(jìn)行優(yōu)化Question

:

這張圖片是否包含暴恐血腥的違規(guī)?如果包含請(qǐng)描述圖

中和暴恐血腥有關(guān)的違規(guī)畫面Answer:是的，這張圖片包含暴恐血腥的違規(guī)信息，這張圖片顯

示了一個(gè)人跪在地上，被另一個(gè)人控制，手里持有刀具，面前還有一個(gè)人被當(dāng)做人質(zhì)。這張圖片涉及到暴力、威脅和脅迫行為，可能會(huì)對(duì)用戶造成心理傷害，并可能助長(zhǎng)不法之徒的活動(dòng)Question

:

這張圖片是否包含暴恐血腥的違規(guī)?如果包含請(qǐng)描述圖

中和暴恐血腥有關(guān)的違規(guī)畫面Answe

r:是的，這張圖片包含暴恐血履的違規(guī)信息，這張圖片顯

示了一個(gè)人手持一把刀，伴隨著快速的動(dòng)作，看起來可能是在甩動(dòng)或使用刀具，這種行為和姿態(tài)可能會(huì)傳遞出暴力或危險(xiǎn)的信號(hào)，

可能對(duì)觀眾產(chǎn)生不必要的心理恐慌.(b)

違規(guī)推理安全垂直大模型高質(zhì)量業(yè)務(wù)數(shù)據(jù)構(gòu)造違規(guī)事實(shí)QA數(shù)據(jù)原始數(shù)據(jù)+違規(guī)元素→裁判模型二次確認(rèn)→QA數(shù)據(jù)生成違規(guī)理由推理數(shù)據(jù)原始數(shù)據(jù)+違規(guī)元素+審核規(guī)則→違規(guī)標(biāo)簽+違規(guī)原因業(yè)務(wù)原始數(shù)據(jù)(物料+審核結(jié)果+審核規(guī)則)業(yè)務(wù)數(shù)據(jù)源

審核結(jié)果

審核規(guī)則InfoQ極客傳媒視覺語(yǔ)言大模型1視覺語(yǔ)言大模型2推理大模型1推理大模型2全球人工智能開發(fā)與應(yīng)用大會(huì)違規(guī)理由

推理數(shù)據(jù)違規(guī)事實(shí)

QA數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)→結(jié)構(gòu)化數(shù)據(jù)010203多模態(tài)大模型訓(xùn)練三階段視頻內(nèi)容描述文本視覺畫面-

視頻中女性角色通過不同場(chǎng)景展示多面形象，職業(yè)裝、蕾絲

裝、警服風(fēng)、海灘裝、動(dòng)漫風(fēng)等服裝頻繁切換，均搭配高跟鞋、絲襪或裝飾性配飾。-

多數(shù)畫面中她手持手機(jī)遮擋面部，姿態(tài)以自然或俏皮的休閑

姿勢(shì)為主),表情多隱藏或模糊。-場(chǎng)景涵蓋教室、家庭/酒店房間、浴室、現(xiàn)代辦公室、海

灘、都市室內(nèi)等多樣化環(huán)境，光線明亮且環(huán)境整潔。-教室場(chǎng)景突出“教師身份”,其他場(chǎng)景(如海灘、警服風(fēng)室

內(nèi))暗示校外生活的多樣性。推理大模型圖像中的文字-封面圖像中有中文文字：

“在校內(nèi)我是老師，在校外我是

”,

以白色文字配黑色邊框，位于人物的上方圖層-第4幀有評(píng)論文字，“一個(gè)人偷偷看

zn35”、

“后面是點(diǎn)cc”、

“感謝哥的分享”、“我先去探探路”、“剛剛看完，屬實(shí)精彩”010203視覺與多模態(tài)預(yù)訓(xùn)練視覺基座C

LIP-ViT框架，多模態(tài)基座以MLP為連接器，且凍結(jié)LLM全部參數(shù)；構(gòu)造200M

開源+40M業(yè)務(wù)高質(zhì)量圖文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練多任務(wù)有監(jiān)督指令微調(diào)該訓(xùn)練階段下凍結(jié)視覺編碼器部分參數(shù)，僅對(duì)視覺-文本連接器以及LLM部分參數(shù)層進(jìn)行

微調(diào)，總數(shù)據(jù)量級(jí)約2M

(開源：業(yè)務(wù)=4:1)對(duì)齊人類偏好的強(qiáng)化學(xué)習(xí)該訓(xùn)練階段主要針對(duì)模型的推理過程的邏輯合理性和上下文一致性進(jìn)行修正，基于人工偏序關(guān)系的標(biāo)注進(jìn)行優(yōu)化跨模態(tài)橋接：多模態(tài)

→

文本單模態(tài)多模態(tài)數(shù)據(jù)封面圖像+問題幀1+問題…幀n+

問題MLLMMLLMMLLMPseudo-CoT描述+思考過程描述+思考過程描述+思考過程MLLMMLLMMLLMLLM歸納

封面詳細(xì)描述幀1詳細(xì)描述幀n詳細(xì)描述大模型深度推理過程+證據(jù)鏈視頻內(nèi)容分析畫面匹配度分析：-服裝體系(蕾絲/警服風(fēng)/海灘裝)與職業(yè)場(chǎng)景(教室/辦公室)強(qiáng)烈反

差；浴室鏡子、坐姿靠墻等構(gòu)圖常見于軟色情符號(hào)體系；-封面文字制造身份反差懸念但無后續(xù)解釋，形成信息斷層

；第4幀的評(píng)論對(duì)話暗示第三方的網(wǎng)站內(nèi)容，符合色情引流的典型特征證據(jù)鏈構(gòu)建-人物特征：蕾絲裝+絲襪+高跟鞋組合符合"性化服裝"特征-行為維度：用手機(jī)遮擋面部但突出身體曲線，符合"選擇性暴露"特征-場(chǎng)景維度：教師職業(yè)場(chǎng)景與浴室/海灘場(chǎng)景并置，觸發(fā)"身份反差"聯(lián)想-服裝-場(chǎng)景-文字關(guān)聯(lián)：

職業(yè)裝(教室)蕾絲裝(私密場(chǎng)景)封面文字暗

示，系統(tǒng)性構(gòu)建"雙重身份"敘事，

符合軟色情通過隱喻傳遞低俗信息特征-畫面評(píng)論對(duì)話+舉報(bào)關(guān)聯(lián)：隱蔽發(fā)布網(wǎng)址且有用戶回復(fù)，結(jié)合用戶舉報(bào)理

由“發(fā)的內(nèi)容有色情內(nèi)容”,聊天對(duì)話提到第三方網(wǎng)站可能暗示是色情網(wǎng)站決策標(biāo)簽：軟色情增加先驗(yàn)信息修正CoT

結(jié)果安全垂直大模型高質(zhì)量業(yè)務(wù)數(shù)據(jù)構(gòu)造與審核標(biāo)簽是否

一

致是是推理邏輯是否自反思修正安全算法團(tuán)隊(duì)結(jié)構(gòu)化推理CoT

數(shù)據(jù)多模態(tài)冷啟動(dòng)數(shù)據(jù)快手技術(shù)深度推理

大模型視頻綜合描述InfoQ

極客傳媒全球人工智能開發(fā)與應(yīng)用大會(huì).從視頻信息中分析主題標(biāo)簽包括：不良行為、涉政敏感、…OuputLLMDecoderInput視頻信息：

Intitle:#王

者

榮

耀

#

.

.

.nocr:...

存在標(biāo)簽有：image

tokenVisionEncoder大模型生成式內(nèi)容風(fēng)險(xiǎn)識(shí)別白盒蒸餾大模型知識(shí)蒸餾黑盒蒸餾大模型輕量化知識(shí)蒸餾框架Class:涉政敏感、不良行為、不實(shí)謠言、違法違規(guī)、…LLMDecoder判別式框架一可靈活適配白盒蒸餾

(logits/feature-level)

有更好的性價(jià)比①

Tasks②

Raw

data③

Raw

dataOuput

MLP

HeadembeddingInput標(biāo)準(zhǔn)中間參數(shù)蒸餾上下文學(xué)習(xí)

(ICL)思維鏈

(CoT)指令遵循

(IF)In-contextLearning

KDRationalesInstructions品

快手技術(shù)

安全算法團(tuán)隊(duì)LLMLLMLLMIn-contextTuningPromptPrompt生成式框架--適用于黑盒蒸餾

(response-level)

保留模型推理能力VisionEncoder大模型判別式內(nèi)容風(fēng)險(xiǎn)識(shí)別.

..SLMSLMSLM視頻信息

：image

tokenInfo

Q

極客傳媒Intitle:#王

者

榮

耀

#

.

.

.nocr:...存在標(biāo)簽有：全球人工智能開發(fā)與應(yīng)用大會(huì)推理大模型訓(xùn)練進(jìn)階：冷啟動(dòng)一監(jiān)督微調(diào)一強(qiáng)化學(xué)習(xí)RL(GRPO)初始化推理模型SFT

onRL冷啟動(dòng)數(shù)據(jù)SFT

onRL(GRPO)推理數(shù)據(jù)任務(wù)一：訓(xùn)練策略準(zhǔn)確率召回率F1-score基座模型49.86%61.87%55.22%基座模型+SFT80.69%58.63%67.92%基座模型+SFT+RL80.97%65.83%72.62%任務(wù)二：訓(xùn)練策略準(zhǔn)確率召回率F1-score基座模型36.98%48.83%42.09%基座模型+SFT64.85%66.36%65.60%基座模型+SFT+RL67.72%76.10%71.67%大模型數(shù)據(jù)蒸餾與強(qiáng)化學(xué)習(xí)推理提升RL-

消融實(shí)驗(yàn)框架a.

數(shù)據(jù)配比：開源數(shù)據(jù)vs

業(yè)務(wù)數(shù)據(jù)b.

訓(xùn)練超參：?jiǎn)蜳rompt

生

成Response

采樣數(shù)c.

訓(xùn)練數(shù)據(jù)量級(jí)：10k/20k/40kSFT-

消融實(shí)驗(yàn)框架a.

數(shù)據(jù)配比：開源數(shù)據(jù)vs

業(yè)務(wù)數(shù)據(jù)b.

訓(xùn)練超參：初始學(xué)習(xí)率、

Warm-upc.

訓(xùn)練數(shù)據(jù)量級(jí)：50k/100k/200k安全算法團(tuán)隊(duì)注：這步操作可采用其他大模型數(shù)據(jù)生產(chǎn)方式取代

快手技術(shù)InfoQ

極客傳媒RLConvergedReasoning

Model冷啟動(dòng)

數(shù)據(jù)十通用數(shù)據(jù)全球人工智能開發(fā)與應(yīng)用大會(huì)輕量化模型RL(GRPO)Initialization基座模型推理數(shù)據(jù)推理模型03快手安全大模型核心技術(shù)--安全大模型審核智能化應(yīng)用實(shí)踐InfoQ極客傳媒全球人工智能開發(fā)與應(yīng)用大會(huì)原子標(biāo)簽靈活組合，快速應(yīng)對(duì)審核規(guī)則迭代人物女性

男性露胸超過1/2

露胸1/3與1/2之間

露胸小于1/3

上半身裸露

上半身未裸露床上等場(chǎng)景

無明顯低俗場(chǎng)景

胸部大于頭部

胸部小于頭部

運(yùn)動(dòng)場(chǎng)所等豁免場(chǎng)景

其他場(chǎng)景摸身體等挑逗動(dòng)作

無明顯挑逗動(dòng)作PresentedwithXMindInfoQ極客傳媒場(chǎng)景一：大模型內(nèi)容審核標(biāo)簽新范式精細(xì)化標(biāo)簽：客觀世界的結(jié)構(gòu)化表達(dá)

女性大量人工標(biāo)注，單獨(dú)訓(xùn)練專用模型成本極高標(biāo)簽直接映射審核規(guī)則

規(guī)則更新時(shí)需要重新建設(shè)AiCon全球人工智能開發(fā)與應(yīng)用大會(huì)少量人工標(biāo)注，人機(jī)交互式迭代效率高成本低精細(xì)化標(biāo)簽支持靈活組裝可反哺審核規(guī)則，交互式迭代現(xiàn)在--「大模型時(shí)代」模型自動(dòng)生成精細(xì)化標(biāo)簽體系過去--「?jìng)鹘y(tǒng)模型時(shí)代」人工定義審核規(guī)則與標(biāo)簽。

從「人工定義標(biāo)簽+大量標(biāo)注高成本訓(xùn)練」到

~2

「模型自動(dòng)生成標(biāo)簽+少量標(biāo)注高效迭代」品

快手技術(shù)

安全算法團(tuán)隊(duì)露胸露腿露上半身一字馬摸胸摸腿男性未成年床泳池教室緊身衣情趣裝超短裙身體部位姿勢(shì)人物場(chǎng)景穿著低俗標(biāo)簽基于大模型標(biāo)簽清洗與數(shù)據(jù)對(duì)齊：多任務(wù)Prompts構(gòu)造，基于大模型的語(yǔ)義理

解與推理能力，進(jìn)行清洗+對(duì)齊：·結(jié)構(gòu)化標(biāo)簽樹生成：如果<A,B>二元組表示：A為一級(jí)類目，B為二級(jí)類目；舉例：<穿著，短裙>,<身體、腿>;將下列標(biāo)簽按二元組形式輸出

…·

標(biāo)簽集清洗與確認(rèn)：已知下列元素…最不可能和其他元素出現(xiàn)在同一畫面的是哪些…請(qǐng)判斷圖片中是否存在標(biāo)簽xxx….大模型圖像描述生成：一名身穿粉色護(hù)士服的女子，坐在白色

的床上。她穿著粉色短袖襯衫、白色裙

子和白色絲襪。她的頭發(fā)又長(zhǎng)又黑，戴著一頂紅色的帽子，上面有白色的心形圖

案。她坐在床上，雙手撐在床上，側(cè)臉目視鏡頭方向，沒有表現(xiàn)出特殊情緒…候選圖像標(biāo)簽+文本標(biāo)簽：女性、長(zhǎng)發(fā)、床、襯衫、絲襪、超短裙、

護(hù)士服、室內(nèi)場(chǎng)景、

……Presentedwith

XMind審核規(guī)則條款映射：比如：床上，洗澡場(chǎng)景：相對(duì)于正規(guī)護(hù)士

服、學(xué)生裝，更緊更短，常伴有性感絲襪

或其他情趣裝飾。大模型精細(xì)化標(biāo)簽生產(chǎn)與自動(dòng)化標(biāo)注大模型自動(dòng)化標(biāo)注基于視覺/多模態(tài)大模型對(duì)內(nèi)容進(jìn)行自動(dòng)

化標(biāo)注，獲取基礎(chǔ)圖像與文本標(biāo)簽結(jié)構(gòu)化標(biāo)簽生成與數(shù)據(jù)對(duì)齊基于大模型的語(yǔ)義分析能力生成結(jié)構(gòu)化標(biāo)簽樹并對(duì)數(shù)據(jù)標(biāo)簽進(jìn)行清洗與確認(rèn)人工輔助校驗(yàn)標(biāo)簽體系對(duì)大模型自動(dòng)生成標(biāo)簽體系進(jìn)行人工校驗(yàn)，并與審核規(guī)則條款進(jìn)行映射過去的審核模式：?jiǎn)我坏?、粗顆粒度的審核標(biāo)簽一軟色情低俗人工輔助校驗(yàn)標(biāo)簽樹：人物安全算法團(tuán)隊(duì)快手技術(shù)女性男性未成年床泳池教室緊身衣情趣裝超短裙InfoQ

極客傳媒場(chǎng)景穿著全球人工智能開發(fā)與應(yīng)用大會(huì)露腿露上半身低俗標(biāo)簽030102摸胸摸腿身體部位一字馬姿勢(shì)露胸文本描述畫面上是一間臥室……有一位身穿護(hù)士服女性，坐在白色的床上……她穿著短裙和白色絲襪……她的頭發(fā)又長(zhǎng)又黑，戴著一頂帽子……Text

Encoder(垂直大模型圖文對(duì)齊模塊)phrase1

phrase2phrase3

……Alignment

EncoderCross

Attention

Layer

1Feed-Forward

Layer

1Cross

Attention

Layer

2Feed-Forward

Layer

2One-HotText(Desc)Supervision基于安全大模型的開集Tagging

框架基于安全大模型增強(qiáng)的<圖像、描述、標(biāo)簽>三元組對(duì)齊編碼，使模型具備較強(qiáng)的open-set

預(yù)測(cè)能力Text

Encoder(垂直大模型圖文對(duì)齊模塊)tag1tag2tag3

……Alignment

EncoderCross

Attention

Layer1Feed-ForwardLayer1Cross

Attention

Layer

2Feed-Forward

Layer

2Multi-HotTag

SupervisionImage

EncoderPatch

PartitionLinear

EmbeddingMulti-ScaleTransformerBlockPatch

MergingMulti-ScaleTransformerBlock圖像標(biāo)簽1.人物：女性2.

身體部位：露腿3.

穿著：短裙，絲襪標(biāo)簽描述1.短裙：裙邊高于膝蓋…2.

絲襪：半…透

……明材質(zhì)

快手技術(shù)

安全算法團(tuán)隊(duì)<圖像-文本標(biāo)簽>

對(duì)齊編碼<圖像-文本描述>

對(duì)齊編碼InfoQ

極客傳媒Parsing(實(shí)體分詞解析)大模型擴(kuò)展標(biāo)簽描述全球人工智能開發(fā)與應(yīng)用大會(huì)3.附：大模型自動(dòng)化數(shù)據(jù)引擎系統(tǒng)流程風(fēng)控特征底表Hive錄制評(píng)估達(dá)標(biāo)模型自動(dòng)上線評(píng)估達(dá)標(biāo)模型自動(dòng)上線數(shù)據(jù)特征集(不含標(biāo)注結(jié)果)H1容器內(nèi)數(shù)據(jù)集流式下載到本地(Java)數(shù)據(jù)生產(chǎn)數(shù)據(jù)管理平臺(tái)Server模型訓(xùn)練數(shù)據(jù)集H4數(shù)據(jù)集

迭代更新自

動(dòng)

迭

代數(shù)據(jù)集H4*安全算法團(tuán)隊(duì)KafkatopicBatch

數(shù)據(jù)

預(yù)讀入內(nèi)存

(Python)推送更新Blobstore容器內(nèi)數(shù)據(jù)集流式下載到本地(Java)品快手技術(shù)InfoQ

極客傳媒數(shù)據(jù)特征集(風(fēng)險(xiǎn)濃度分層)H2數(shù)據(jù)預(yù)選集(帶有標(biāo)注結(jié)果)H3例行送標(biāo)審核標(biāo)注平臺(tái)(KAP)Batch

數(shù)據(jù)

預(yù)讀入內(nèi)存

(Python)算法平臺(tái)特征底表

HiveConsumer(風(fēng)險(xiǎn)濃度分層)訓(xùn)練(風(fēng)控算法庫(kù))訓(xùn)練(風(fēng)控算法庫(kù))Kafkatopic(KAP)全球人工智能開發(fā)與應(yīng)用大會(huì)用戶定義模型參數(shù)大模型「生成」大模型「標(biāo)注」Kafkatopic載入模型參數(shù)推送更新持續(xù)訓(xùn)練濃度信息評(píng)估評(píng)估載入回收多維度聯(lián)合感知：整合碎片化信息多模態(tài)Agent

可同步解析文本、圖像、視頻、

語(yǔ)音中的風(fēng)險(xiǎn)要素(如涉政敏感詞、暴力畫

面、變音辱罵)避免單通道審核漏放信息歸納：壓縮冗余內(nèi)容定位核心風(fēng)險(xiǎn)大模型識(shí)別重復(fù)舉報(bào)、無意義字符等，過濾

冗余信息；并通過注意力機(jī)制量化內(nèi)容風(fēng)險(xiǎn)濃度，優(yōu)先推送高威脅內(nèi)容，提升審核效率長(zhǎng)鏈推理關(guān)聯(lián)：挖掘隱蔽風(fēng)險(xiǎn)信息Agent

調(diào)用用戶行為鏈工具(如歷史發(fā)言、社交圖譜),識(shí)別惡意導(dǎo)流、私信交易等，進(jìn)行綜合推理研判，挖掘隱藏的風(fēng)險(xiǎn)信息規(guī)則知識(shí)記憶：減少人工依賴與延遲Agent

通過知識(shí)庫(kù)實(shí)時(shí)記憶數(shù)萬條審核規(guī)則(如監(jiān)管專項(xiàng)要求與管控指令),支持自主更新策略，減少人工記憶負(fù)擔(dān)與響應(yīng)延遲場(chǎng)景二：安全推理大模型審核智能體安全大模型智能體驅(qū)動(dòng)

人工審核新范式：從開集標(biāo)簽到長(zhǎng)鏈推理安全算法團(tuán)隊(duì)品快手技術(shù)Info

Q極客傳媒全球人工智能開發(fā)與應(yīng)用大會(huì)感知

(Perception)工具

(Tools)提示詞

(Prompts)

行動(dòng)

(Action)原始內(nèi)容生產(chǎn)信息

視頻初審模版

原始內(nèi)容信息知識(shí)庫(kù)混排檢索

增量信息內(nèi)容消費(fèi)與交互信息

用戶審生產(chǎn)者模版領(lǐng)域?qū)＜夷Ｐ?/p>

prompt

模版風(fēng)控審核與判罰信息

多模態(tài)舉報(bào)審模版

相似案例其他外部API等相關(guān)知識(shí)推薦特征與用戶畫像等

視頻評(píng)論聚合審模版

混排檢索服務(wù)相關(guān)規(guī)則規(guī)劃

(Planning)

get_prompt任務(wù)1read_resources

大模型推理

過

程

&

結(jié)

論

&

摘

要→·

支持預(yù)制任務(wù)模板·對(duì)應(yīng)現(xiàn)在的決策樹get_context

一獲取上下文結(jié)論&摘要一getLists:

任務(wù)2可用工具/資源(感知

大模型拆解任務(wù)信息)/prompts模板大模型推理

過程&結(jié)論&摘要

→read_resourcescall_tools……否一年務(wù)是否完成是是

反

思

(Reflection)總結(jié)歸納結(jié)果否

—

結(jié)論是否需修正

逆向反思

正向反思

獲取上下文結(jié)論&摘要審核智能體AgentAgenticWorkflows大模型調(diào)用MVP待審核內(nèi)容

Input-安全推理大模型審核智能體框架品

快手技術(shù)

安全算法團(tuán)隊(duì)短期記憶結(jié)論摘要過程信息任務(wù)級(jí)打包落庫(kù)記

憶

(Memory)長(zhǎng)期記憶KDB/Hive/...Info

Q

極客傳媒相似案例相關(guān)知識(shí)相關(guān)規(guī)則決策結(jié)果決策證據(jù)反思修正審核結(jié)果輸出

Output-規(guī)則知識(shí)案例全球人工智能開發(fā)與應(yīng)用大會(huì)call_tools風(fēng)控知識(shí)庫(kù)get_prompt·標(biāo)題維度：標(biāo)題明確引導(dǎo)用戶通過“語(yǔ)音/視頻”建立私密互動(dòng)，暗示脫離平臺(tái)監(jiān)管的社交行為。·

畫面維度：泳裝、學(xué)生制服等服飾可能隱含軟色情傾向，但未達(dá)到色情低俗標(biāo)準(zhǔn)?！の淖志S度：關(guān)鍵幀文字“上線不要填寫資料”“語(yǔ)音視頻可以聊”直接指向外部平臺(tái)引

流

。多維度證據(jù)鏈·標(biāo)題+畫面：標(biāo)題的“語(yǔ)音/視頻”與畫面中的泳裝、萌系形象結(jié)合，可能暗示通過特定渠道提供私密內(nèi)容?！ぎ嬅?舉報(bào)理由：用戶因“色情低俗”舉報(bào)，但畫面無直接違規(guī)，舉報(bào)理由更可能源于對(duì)引流行為的反感?！の淖?標(biāo)題：關(guān)鍵幀文字“淘愛”與標(biāo)題的“來這里找我”形成閉環(huán)，指向外部平臺(tái)導(dǎo)流。反思修正正向反思(假設(shè)“違規(guī)引流”正確)·信息遺漏：未明確提及視頻中是否包含二維碼、鏈接或具體平臺(tái)名稱(如“淘愛”是否

為第三方應(yīng)用)?！ぱa(bǔ)充證據(jù)：若視頻中存在“淘愛”品牌標(biāo)識(shí)或跳轉(zhuǎn)鏈接，可進(jìn)一步強(qiáng)化引流意圖。負(fù)向反思(假設(shè)“色情低俗”正確)·矛盾點(diǎn)：泳裝和制服未達(dá)到平臺(tái)定義的“低俗”標(biāo)準(zhǔn)(如無暴露或性暗示動(dòng)作)。·修正建議：需核查泳裝是否過度暴露或存在挑逗性動(dòng)作，否則應(yīng)排除色情低俗標(biāo)簽。視頻內(nèi)容分析1.

標(biāo)題分析：1.標(biāo)題使用“哥哥”“語(yǔ)音/視頻”“聊你喜歡的話題”等詞匯，暗示通過特定渠道(如社

交平臺(tái))建立私密互動(dòng)關(guān)系，可能引導(dǎo)用戶脫離平臺(tái)進(jìn)行非公開交流。2.

表情符號(hào)“

”強(qiáng)化情感誘導(dǎo)，但未直接涉及色情或低俗語(yǔ)言。2.

畫面分析：1.人物形象：年輕女性穿著風(fēng)格多樣(學(xué)生制服、蕾絲上衣、泳裝等),搭配兔耳/貓

耳發(fā)飾，符合“萌系”審美，但無暴露或性暗示動(dòng)作。2

.場(chǎng)景與物品：室內(nèi)外場(chǎng)景交替(如地鐵車廂、戶外綠植),背景無敏感元素，但部分

場(chǎng)景(如泳裝)可能隱含軟色情傾向。3.

文字信息：關(guān)鍵幀文字均指向社交功能引導(dǎo)(如“上線不要填寫資料”“語(yǔ)音視頻可以聊”),暗示用戶需通過特定渠道(如“淘愛”)實(shí)現(xiàn)互動(dòng)。3

.舉報(bào)關(guān)聯(lián)性：1.

用戶舉報(bào)理由“色情低俗”缺乏直接證據(jù)(如裸露、性行為),但“引人不適”可能與標(biāo)題的誘導(dǎo)性或畫面風(fēng)格(如泳裝)相關(guān)。證

據(jù)鏈構(gòu)建單維度證據(jù)鏈安全推理大模型推理大模型Prompt

橫

版1.視頻內(nèi)容與上下文理解：已知視頻中的畫面、文本、用戶反饋(評(píng)論區(qū)、舉報(bào)等)、

創(chuàng)作者畫像等識(shí)別歸納結(jié)果如下***;知識(shí)庫(kù)增強(qiáng)下關(guān)聯(lián)規(guī)則與關(guān)聯(lián)案例包括***;2.證據(jù)鏈構(gòu)建：結(jié)合上述信息，基于審核規(guī)則給出預(yù)測(cè)標(biāo)簽，并提供對(duì)應(yīng)證據(jù)鏈·

單維度證據(jù)鏈：基于單一維度的信息源中，分別給出預(yù)測(cè)標(biāo)簽的證據(jù)鏈·

多維度證據(jù)鏈：基于多維度信息源之間的關(guān)聯(lián)，給出預(yù)測(cè)標(biāo)簽的證據(jù)鏈3.深度反思修正：回溯內(nèi)容信息與證據(jù)鏈進(jìn)行反思，修正可能的錯(cuò)誤·

正向校驗(yàn)：假設(shè)預(yù)測(cè)標(biāo)簽正確，回潮以上單維或多維證據(jù)鏈中遺漏信息并補(bǔ)充·反向校驗(yàn)：假設(shè)預(yù)測(cè)標(biāo)簽錯(cuò)誤，反思以上單維或多維證據(jù)鏈中的推理矛盾點(diǎn)綜合以上全部信息給出最終的決策結(jié)果舉報(bào)分布10色情低俗

內(nèi)容引人不適【舉報(bào)類型】色情低俗：加微真人下載上線直接加不用充會(huì)員語(yǔ)音視頻無限

暢聊9...3你不敢主動(dòng)的話那我就直…標(biāo)題：

“可以語(yǔ)音可以視頻，聊你喜

歡

的

話題

”關(guān)鍵幀文字：“想要脫單就來淘愛”人物形象：泳裝、蕾絲上衣、貓耳發(fā)飾輔助參考1.需核查“淘愛”平臺(tái)是否涉及付費(fèi)交友或擦邊服務(wù)。2.

需確認(rèn)視頻中是否存在語(yǔ)音/視頻內(nèi)容的具體對(duì)話

(如是否含性暗示語(yǔ)言)。模型歸納總結(jié)模型推理過程安全大模型審核智能體驅(qū)動(dòng)人審新范式視頻內(nèi)容審核物料哥哥喜歡我的話那就來這里找我吧，可以語(yǔ)音可以視

頻，聊你喜歡的話購(gòu)舉報(bào)分布色情低俗內(nèi)容引人不適【舉報(bào)類型】色情低俗：大模型歸納創(chuàng)作者用戶畫像標(biāo)簽3

用戶大模型畫像標(biāo)簽①隱私泄露風(fēng)險(xiǎn)用戶個(gè)性表達(dá)者視覺不適風(fēng)險(xiǎn)社交互動(dòng)頻繁者用戶互動(dòng)風(fēng)險(xiǎn)內(nèi)容健康風(fēng)險(xiǎn)用戶大模型畫像標(biāo)簽-歸類原因；生產(chǎn)用戶畫像③時(shí)尚紋身自拍C

端反饋用戶畫像③不當(dāng)使用公共空間不良行為紋身社交用戶畫像③不當(dāng)內(nèi)容與行為騷擾與威脅隱私泄露與安全問題用戶類型③高舉報(bào)用戶高頻被私信用戶特定問題域原子標(biāo)簽專家模型檢檢族安全知識(shí)庫(kù)檢索增強(qiáng)多模態(tài)混排檢索服務(wù)結(jié)構(gòu)盤規(guī)

則領(lǐng)域知識(shí)點(diǎn)風(fēng)險(xiǎn)內(nèi)容案例多模態(tài)內(nèi)容向量表征幼

標(biāo)

題視頻封面視頻九幀舉報(bào)詳情快手技術(shù)

安全算法團(tuán)隊(duì)ASROCR加磁真人下載上線直接加不用充會(huì)員語(yǔ)音視頻無限

暢聊9...3你不敢主動(dòng)的話那我就直…ASROCRAiCon全

球

人

工

智

能

開

發(fā)

與

應(yīng)

用

大

會(huì)哥哥喜歡我的話那就來這里找我吧，可以語(yǔ)音可以視幼

頻，耶你喜歡的話題模型得分：主體人物-女性衣物-超短

裙/超短褲身體部位-露腿Info

Q

極客傳媒白

A

助手推薦標(biāo)簽關(guān)鍵信息1.00000000.98193360.7529297審

核A

智

能

體

助

手ASROCR違

規(guī)引

流

9

0

%05

反思修正正向反思信息遺漏：未明確腿部裸露的具體范圍(如是否超短褲)、化牧鏡圖案是否含性暗示符號(hào)。與證據(jù)鏈矛盾與決策結(jié)果矛盾

□

邏輔不自治補(bǔ)充證據(jù)：需確認(rèn)人物著裝是否符合平臺(tái)裸露標(biāo)準(zhǔn)(如短褲長(zhǎng)度),檢查化妝鏡圖案是否存在隱蔽低俗元素。;與證據(jù)鏈矛盾與決策結(jié)果矛盾

□

邏輯不自治負(fù)向反思矛盾點(diǎn)：昏暗環(huán)境可能掩蓋部分細(xì)節(jié)(如人物表情、背景物品),需排查是否存在隱蔽性暗示動(dòng)作(如腿部特寫、鏡頭角度)。與證據(jù)鏈矛盾與決策結(jié)果矛盾

□

邏輯不自治修正建議：人工復(fù)審重點(diǎn)檢查視頻動(dòng)態(tài)畫面，確認(rèn)是否存在靜態(tài)幀未捕捉的挑造性動(dòng)作或物品。與證據(jù)鏈矛盾與決策結(jié)果矛盾

□

邏輯不自治01

審核標(biāo)簽政治相關(guān)-涉政敏感○政治相關(guān)-涉政紅線政治相關(guān)-現(xiàn)任首長(zhǎng)○未成年相關(guān)-不良行為未成年相關(guān)-未成年底線未成年相關(guān)-未成年形象未成年相關(guān)-未成年風(fēng)險(xiǎn)

色情低俗-性暗示色情低俗-軟色情○

色情低俗-色情底線違法違規(guī)-違法違規(guī)○辱罵引戰(zhàn)-侮辱誹謗辱罵引戰(zhàn)-引戰(zhàn)攻擊○不實(shí)信息-不實(shí)謠言不實(shí)信息-虛假營(yíng)銷其他-不良導(dǎo)向其他-公序良俗

○其他-違規(guī)引流引導(dǎo)私下交易一私單廣告〇應(yīng)急臨時(shí)標(biāo)簽-臨時(shí)踩應(yīng)急臨時(shí)標(biāo)簽-臨時(shí)屏蔽

跳過-跳過未成年相關(guān)-兒童色情02

研判依賴標(biāo)題/封面/九幀/OCR□ASR

□

非九幀畫面□評(píng)論區(qū)歪樓□舉報(bào)內(nèi)容□用戶畫像□跳過InfoQ

極客傳媒03

視覺描述人物特征及行為人物穿著淺色上衣，腿部裸露，坐在紅色座椅上，姿態(tài)放松，手部動(dòng)作包括握持黑色小包或打開圓形化妝鏡。有風(fēng)險(xiǎn)元素

幻覺/錯(cuò)誤缺少風(fēng)險(xiǎn)元素手部細(xì)節(jié)顯示指甲涂有深色指甲油，動(dòng)作自然，可能在整理物品或準(zhǔn)備使用化妝品。人物特征及行為是否遺漏環(huán)境整體場(chǎng)景為昏暗的室內(nèi)環(huán)境，可能為酒吧或夜店，背景有紫色、藍(lán)色燈光營(yíng)造夜生活氛圍。?

有風(fēng)險(xiǎn)元素幻覺/錯(cuò)誤缺少風(fēng)險(xiǎn)元素地面散落紙屑或裝飾物，桌面擺放飲料罐、玻璃杯及零食，環(huán)境顯得隨意且充滿派對(duì)氣息，有風(fēng)險(xiǎn)元素幻覺/錯(cuò)誤物體黑色小包帶有金屬拉鏈和扣件，包內(nèi)可見卡片或小物件，可能用于存放個(gè)人物品或派對(duì)相關(guān)物品。有風(fēng)險(xiǎn)元素幻覺/錯(cuò)誤

缺少風(fēng)險(xiǎn)元素桌面上有藍(lán)色飲料罐、透明玻璃杯(含黃色液體)、紅色零食包裝及散落的紙屑，暗示派對(duì)或聚會(huì)場(chǎng)景。有風(fēng)險(xiǎn)元素幻覺/錯(cuò)誤人物手持的圓形化妝鏡帶有黑白圖案，可能為品牌標(biāo)識(shí)或裝飾性設(shè)計(jì)。有風(fēng)險(xiǎn)元素幻覺/錯(cuò)誤物體是否遺漏文本視頻中未出現(xiàn)明顯文字信息，如字幕、對(duì)話或標(biāo)識(shí)文字。有風(fēng)險(xiǎn)元素幻覺/錯(cuò)誤缺少風(fēng)險(xiǎn)元素04

證據(jù)鏈構(gòu)造單維度證據(jù)鏈標(biāo)題雄度：標(biāo)題“喝多了”可能暗示飲酒，但未涉及性行為或低俗語(yǔ)言。與風(fēng)險(xiǎn)元素不一致與審核標(biāo)簽不一致

邏輯不自治缺少知識(shí)或黑話畫面維度：腿部裸露未超出常規(guī)尺度，手部動(dòng)作無攜逗性，場(chǎng)景物品無低俗關(guān)聯(lián)。與風(fēng)險(xiǎn)元素不一致與審核標(biāo)簽不一致

邏輯不自治缺少知識(shí)或黑話舉報(bào)維度：舉報(bào)理由為空，缺乏具體違規(guī)證據(jù)。;與風(fēng)險(xiǎn)元素不一致

與審核標(biāo)簽不一致邏輯不自洽□缺少知識(shí)或黑話多維度證據(jù)鏈標(biāo)題+畫面：飲酒場(chǎng)景與夜店環(huán)境結(jié)合，可能引發(fā)“酒后失態(tài)”聯(lián)想，但畫面中人物行為正常，無實(shí)際違規(guī)動(dòng)作。與風(fēng)險(xiǎn)元素不一致與審核標(biāo)簽不一致邏輯不自治□缺少知識(shí)或黑話畫面+舉報(bào)類型：舉報(bào)類型為“色情低俗”,但畫面中無性暗示動(dòng)作、敏感部位暴露或低俗符號(hào)，舉報(bào)理由與內(nèi)容不匹配。與風(fēng)險(xiǎn)元素不一致與審核標(biāo)簽不一致

邏輯不自洽缺少知識(shí)或黑話綜合維度：標(biāo)題與畫面均未提供直接違規(guī)證據(jù)，舉報(bào)缺乏依據(jù)，整體內(nèi)容符合平臺(tái)允許標(biāo)準(zhǔn)。與風(fēng)險(xiǎn)元素不一致與審核標(biāo)簽不一致

邏輯不自洽缺少知識(shí)或黑話證據(jù)鏈?zhǔn)欠袢笔鄙僮C據(jù)鏈反思修正與綜合決策通過回溯內(nèi)容信息與證據(jù)鏈進(jìn)行正向(遺漏補(bǔ)充)與反向(前后矛盾)校驗(yàn)，對(duì)邏輯合

理性和上下文一致性修正并做出最終決策多模態(tài)內(nèi)容與上下文信息理解01

針對(duì)視頻畫面、文本(標(biāo)題、ASR/OCR)

、

用戶反饋(評(píng)論、舉報(bào)等)作者畫像等內(nèi)容

信息進(jìn)行理解分析，獲取原始要素基于規(guī)則的單維/多維證據(jù)鏈構(gòu)建基于與審核規(guī)則的映射，構(gòu)造違規(guī)推理證據(jù)

鏈，包括來自單維度信息源(如文字違規(guī))

和多維度信息組合的違規(guī)證據(jù)安全大模型智能體長(zhǎng)鏈推理能力快手技術(shù)

安全算法團(tuán)隊(duì)AiCon全球人工智能開發(fā)與應(yīng)用大會(huì)0302大模型智能體的技術(shù)實(shí)現(xiàn)與落地大模型智能體「冰山模型」智能體看起來僅僅是一個(gè)能理解自然語(yǔ)言、會(huì)自動(dòng)生成結(jié)果的「大模型

應(yīng)用」,但真正的企業(yè)級(jí)智能體落地，遠(yuǎn)不止一個(gè)

LLM:AI

模型只解決“腦子”的問題·理解任務(wù)、規(guī)劃步驟、生成內(nèi)容或結(jié)果·

這一部分就是“10%

Al”軟件工程支撐智能體的整個(gè)“身體和神經(jīng)系統(tǒng)”·這些工作是“90%軟件工程”,沒有它們，智能體無法穩(wěn)定運(yùn)行AiCon全

球

人

工

智

能

開

發(fā)

與

應(yīng)

用

大

會(huì)AIAgents

are

90%aginooing

10%A1AIAgents米

perplexitySIERRALovable--

Front-endStreamitFlak

gradio(

Rooct@rakeshgohel01留

zepmo

cogneeo

Latta→AuthenticationAuthoOokta

moro

uoGoo

so

osdouesb

m

exa-→Agentic

Observability△arize

LangSmith

LangfuseheliconeOopik→Agentaws

aoncoe

donty

Auce

EnoAgontD-

AgentOrchestrationSLoiomn

Aoen

d

7byubo…Agontsk

GADK

aw5

Aomu

5syo--------Agent

ProtocolsAl

mcPGz

robosuTBNAGcPModel

RoutingmartiancOpenRouter一

notdlamond-------------FoundationalModelsOpenAI

oonosCem

B

crokClaude--------→ETL(Extract,Load,Transform)WDATAVOL0②Nedefverodat------------DatabaseChroma

@drant+

upabase

D

Ponecone-------Infra/BasedooKkobarnte

Auocobow--→CPU/GPUProvider恩△Azure

aws

Oacp

groq

GRunPod用戶交互、任務(wù)編排、數(shù)據(jù)流轉(zhuǎn)、工具調(diào)用、日志監(jiān)控、異?；貪L安全算法團(tuán)隊(duì)快手技術(shù)RakeshGohellin@rakeshgohel01Info

Q

極客傳媒gleanHarvey-

Tools-MemoryCURSORAuth----------------------------安全大模型審核智能體技術(shù)模塊分層安全大模型智能體單維證據(jù)收集多維證據(jù)收集反向推理反思推理結(jié)果B端檢索C端

檢索結(jié)構(gòu)化

存儲(chǔ)

索引

統(tǒng)一

協(xié)議業(yè)務(wù)數(shù)據(jù)流多維度、跨事件、復(fù)雜

場(chǎng)景業(yè)務(wù)特征收集安全垂類專業(yè)知識(shí)

精準(zhǔn)注入大模型推理結(jié)果審核/標(biāo)注/判罰垂直大模訓(xùn)練/微調(diào)

推理大模型-通用/垂直LLM/VLM

多模態(tài)檢索服務(wù)

通用數(shù)據(jù)與業(yè)務(wù)基建AIOps

訓(xùn)推一體化平臺(tái)LLama-factory

通用大模型微調(diào)框架deepspeed

多機(jī)多卡訓(xùn)練框架大模型量化、

KVcache、token

壓縮大模型網(wǎng)關(guān)openApi

接入、token計(jì)費(fèi)高性能大模型推理服務(wù)vLLm

&SGlang安全算法團(tuán)隊(duì)基礎(chǔ)算法原子能力通用表征向量化服務(wù)

風(fēng)險(xiǎn)識(shí)別模型/策略服務(wù)..審核平臺(tái)標(biāo)注數(shù)據(jù)回流業(yè)務(wù)基建-數(shù)倉(cāng)/模型倉(cāng)庫(kù)語(yǔ)言推理大模型

DeepSeek-R1,