CS330MIP–Lecture4媒體與多媒體MultimediaDevelopmentLecture04ContentsReview

ofLecture03MediaMultimediaLatestDevelopmentofMultimediaModalitiesHomework03(PPT)SubmittedBySunday–

TemplateWillbeProvidedonBBSurvey,List3MostImportantInformationProcessingAlgorithmsforaModality,andGiveReasonsforYourSelection.Assignmentisdividedaccordingto:SurveyText:StudentIDendswith0and5SurveyAudio:StudentIDendswith1and6SurveyImage:StudentIDendswith2and7SurveyGraphics:StudentIDendswith3and8SurveyAnimationandVideo:StudentIDendswith4and91List3informationprocessingalgorithms1.SurveyText:62.SurveyAudio:73.SurveyImage:44.SurveyGraphics:75.SurveyAnimationandVideo:31TextTF-IDF:3Word2Vec:2BERT:2詞袋模型:3wordembedding:2文本分類（SVM、樸素貝葉斯）:2自然語言處理（NLP）:1信息抽取算法:1Transfomer:1Seq2seq:21Text:by湯嘉陽詞袋模型：詞袋模型是將文本表示為單詞的集合，忽略單詞順序和語法，僅考慮單詞出現(xiàn)的頻率，常用于文本分類、情感分析等任務(wù)。詞嵌入：將文本數(shù)據(jù)轉(zhuǎn)換為密集向量表示，通過學習詞語之間的語義關(guān)系和語法結(jié)構(gòu)，提供了更豐富的語義信息。詞嵌入常用于文本分類、語義相似度計算、命名實體識別等任務(wù)，有助于提高文本處理和理解的效果。文本分類算法：文本分類算法用于將文本數(shù)據(jù)分為不同的類別或標簽，常見的算法包括樸素貝葉斯、支持向量機（SVM）、深度學習模型等，廣泛應用于垃圾郵件過濾、情感分析、新聞分類等任務(wù)，是文本處理中的關(guān)鍵算法之一。1Text:by

虞快自然語言處理（NLP）算法：NLP算法能夠幫助處理文本數(shù)據(jù)，包括詞義理解、語法分析等，對于文本數(shù)據(jù)的理解至關(guān)重要。對于以文本形式呈現(xiàn)的調(diào)查，NLP算法可以幫助分析文本內(nèi)容，理解學生的觀點、意見或回答。文本分類算法：文本分類算法能夠?qū)ξ谋具M行分類，幫助整理和組織大量的文本信息，為后續(xù)分析提供基礎(chǔ)。在調(diào)查中，可以利用文本分類算法將學生的回答或評論按照不同的主題或類別進行分類，以便進一步分析和處理。信息抽取算法：信息抽取算法能夠從文本中提取有價值的信息，例如從文章中提取實體、關(guān)系等重要信息。在調(diào)查中，這種算法可以幫助提取關(guān)鍵信息，例如學生的姓名、觀點、建議等，以便更好地理解和利用調(diào)查結(jié)果。1Audio快速傅立葉變換(FFT):3梅爾頻率倒譜系數(shù)(MFCC):3隱馬爾可夫模型（HMM）:1WaveNet:1Tacotron2:1DeepSpeech:1深度學習（CNN、RNN）:1DynamicTimeWarping:1自適應濾波器算法:1音頻壓縮MPEG:3Echosuppression:1Noisesuppression:1語音識別:1AudioFeatureExtractionAlgorithm:11Audio:by王一舟自適應濾波器算法：利用輸入音頻與參考音頻的相關(guān)性來估計噪聲，從而對輸入音頻去噪的技術(shù)。對于AI理解信號而言，去噪是基礎(chǔ)且必要的一項技術(shù)。噪聲的存在會極大地干擾其他任務(wù)。1Audio:by王一舟梅爾頻率倒譜系數(shù)：用于音頻信號的特征提取，將頻譜特性表示為有較好判別性的特征向量。相比于單一維度的音頻序列，具有多維度的特征向量能表示更多的含義，有助于AI理解。（在大語言模型中，文字也會被轉(zhuǎn)化為特征向量）1Audio:by王一舟MP3壓縮算法：采用感知編碼原理，根據(jù)人耳對聲音的感知特性，將對聽覺影響較小的信號部分丟棄或減少精度，從而實現(xiàn)較高的壓縮比。對于音頻信息的保存和傳播而言，壓縮算法減小了音頻信息所需的存儲空間以及寬帶壓力，使得音樂能通過互聯(lián)網(wǎng)廣泛地進入人們的生活；對于機器學習而言，壓縮音頻可以提高訓練速度，減小內(nèi)存需求，使得機器能夠利用大數(shù)據(jù)進行訓練。1Audio:by黃德賜快速傅里葉變換（FFT）：FFT能將音頻信號從時域轉(zhuǎn)換到頻域。FFT使我們能夠分析音頻信號的頻率成分，這對于音頻壓縮、音質(zhì)增強、噪聲消除等多種應用至關(guān)重要梅爾頻率倒譜系數(shù)（MFCC）：MFCC是在語音識別和音頻分類中廣泛使用的一種特征提取算法。通過模擬人類耳朵對不同頻率聲音的感知差異，MFCC能有效地捕捉到音頻的基本特性。這種特性使得MFCC在聲音識別、音樂信息檢索和情感分析等領(lǐng)域有效。深度學習：最近幾年深度學習在音頻處理領(lǐng)域非常有效，尤其是CNN和RNN等深度學習算法，在音頻分類、語音識別、音樂生成等任務(wù)中展現(xiàn)出了卓越的性能。深度學習算法能夠從大量音頻數(shù)據(jù)中學習復雜的特征表示，從而使音頻分析和處理的精度及應用范圍得到大幅度擴展。1ImageCanny邊緣檢測算法:1Hough變換算法:1區(qū)域生長算法:1CNNSVMGNN:1圖像壓縮算法:1圖像三維重建:1圖像特征提取:11Image:by曹栗1.Canny邊緣檢測算法：Canny算法是一種經(jīng)典的圖像邊緣檢測算法，具有高精度和低錯誤率的特點。在醫(yī)學影像處理中，準確地檢測圖像中的邊緣信息對于診斷和分析至關(guān)重要，Canny算法能夠有效地提取出清晰的邊緣信息，有助于后續(xù)的特征提取和分割工作。2.Hough變換算法：Hough變換算法可以用于檢測圖像中的直線、圓等特定形狀，對于醫(yī)學影像中需要定位和分析特定形狀結(jié)構(gòu)的情況非常有用。例如，在X光片中檢測骨折處的直線，或者在MRI圖像中檢測器官的圓形邊界，Hough變換能夠幫助準確地識別這些結(jié)構(gòu)。3.區(qū)域生長算法：區(qū)域生長算法是一種用于圖像分割的方法，能夠根據(jù)像素之間的相似性將圖像分割成不同的區(qū)域。在醫(yī)學影像中，需要對不同組織或器官進行分割和分析，區(qū)域生長算法可以根據(jù)像素的灰度值或其他特征將其分割出來，為后續(xù)的量化分析和診斷提供支持。1GraphicsEdgeDetection:1RayTracing:5TextureMapping:2光柵化（Rasterization）:2陰影算法（ShadowAlgorithms）:1輻射度方法:1光柱化算法:2多邊形填充算法:1深度學習算法4快速傅里葉變換:2圖像分類

分割

重建:11Graphics:by胡清暢1.RayTracing光線追蹤

通過追蹤光線從攝像機到場景中物體表面的路徑，可以模擬出逼真的光影效果，包括陰影、反射和折射等，在電影制作、游戲開發(fā)和可視化等領(lǐng)域被廣泛應用。2.Rasterization拉斯特化將圖形對象轉(zhuǎn)換為由像素組成的圖像，能夠高效地處理大量的幾何數(shù)據(jù)。3.PolygonFillingAlgorithms多邊形填充算法用于確定多邊形區(qū)域內(nèi)的像素點，以便對其進行著色或渲染。為圖形的填充和著色提供了基礎(chǔ)，是實現(xiàn)復雜圖形渲染的必要步驟。1AnimationandVideo視頻增強:1目標檢測和跟蹤:2視頻壓縮:2幀間預測算法:1關(guān)鍵幀:1逆運動學:1深度學習:11AnimationandVideo:

by陳蕾1.目標檢測和跟蹤算法：理由：目標檢測和跟蹤算法能夠自動提取物體軌跡，分析物體隨時間的行為，并識別復雜的動作和事件，促進了智能視頻分析、AR和動畫特效等各種應用。2.基于深度學習的視頻分析算法理由：基于深度學習的視頻分析算法能夠?qū)崿F(xiàn)更加精確和復雜的視頻處理任務(wù)，例如識別特定對象、生成逼真的合成視頻等。3.幀間預測算法：理由：幀間預測算法通過利用相鄰幀之間的相關(guān)性來減少視頻數(shù)據(jù)的冗余，它能夠顯著降低視頻文件的大小，同時保持視頻流暢自然的視覺效果。1AnimationandVideo:

by馮澤欣1.KeyframeAnimation(關(guān)鍵幀)：確定特定時間點的對象動態(tài)，然后用算法九三中間的幀，產(chǎn)生運動的感覺。2.VideoCompressionAlgorithms(視頻壓縮算法)：識別冗余信息，以最小的視覺損失質(zhì)量將他們拋棄，從而縮小視頻文件的大小。例如：MPEG,H.264,H.265。3.InverseKinematics(逆運動學)：

該算法在角色動畫中十分重要，其逆向工作，為肢體或物體定義運動的重點，然后計算該運動所需要的關(guān)節(jié)運動。MOJOAR0.48mm（14000PPIMicroLED）隱形計算InvisibleComputingLetUsSeeWhatTheyAre?

Text/Sound/Image/Animation/Graphics/VideoLecture04ContentsReview

ofLecture03MediaMultimediaLatestDevelopmentofMultimediaModalities“Media”fromDictionary5MediaTypes5MediaTypesStorageMediumStorageMediumPresentationMediumRepresentationMediumPerceptionMediumServerCommunicationNetworkEnd-User“Media”fromBing21/22/23/24

-

From

PapertoPCtoMobile.FromMassMediatoSocialMediaSocialMediaSocialmediaisaphrasethatwethrowaroundalotthesedays,oftentodescribewhatwepostonsitesandapps

like

Facebook,

Twitter,

Instagram,

Snapchat

andothers.Soyoucaninferthatsocialmediaareweb-basedsitesthatallowpeopletointeractwitheachother.社交媒體（SocialMedia）指互聯(lián)網(wǎng)上基于用戶關(guān)系的內(nèi)容生產(chǎn)與交換平臺。社交媒體是人們彼此之間用來分享意見、見解、經(jīng)驗和觀點的工具和平臺，現(xiàn)階段主要包括社交網(wǎng)站、微博、微信、博客、論壇、播客等等。SomeSocialMediaSomeSocialMediaSocialMediaWeMedia自媒體自媒體是指普通大眾通過網(wǎng)絡(luò)等途徑向外發(fā)布他們本身的事實和新聞的傳播方式?！白悦襟w”。是普通大眾經(jīng)由數(shù)字科技與全球知識體系相連之后，一種提供與分享他們本身的事實和新聞的途徑。是私人化、平民化、普泛化、自主化的傳播者，以現(xiàn)代化、電子化的手段，向不特定的大多數(shù)或者特定的單個人傳遞規(guī)范性及非規(guī)范性信息的新媒體的總稱.NewMedia新媒體新媒體是利用數(shù)字技術(shù)，通過計算機網(wǎng)絡(luò)、無線通信網(wǎng)、衛(wèi)星等渠道，以及電腦、手機、數(shù)字電視機等終端，向用戶提供信息和服務(wù)的傳播形態(tài)。從空間上來看，“新媒體”特指當下與“傳統(tǒng)媒體”相對應的，以數(shù)字壓縮和無線網(wǎng)絡(luò)技術(shù)為支撐，利用其大容量、實時性和交互性，可以跨越地理界線最終得以實現(xiàn)全球化的媒體。InternationalizedChinaNewMediaTikTok’suniqueArtificialIntelligence(“AI”)algorithmthatinterpretsusers’behavioranddeliverscontentbasedonthoseinterpretations.

InternationalizedChinaNewMediaMassMedia–MediatoMassWhatisNext

for

Media?Cross-Media:interactionbetweendifferentmediatypesOneCurrent

iMED

Research

Topic–

IntelligentCross-MediaLecture04ContentsReview

ofLecture03MediaMultimediaLatestDevelopmentofMultimediaModalitiesMultimediaMultimedia–Baidu詞條MultimediaRelatedConceptsMultimedia

ComputingAssume:S1,...Snaresynchronizeddatastreamsfromsensors.ThesedatastreamshaveKtypesofdataintheformofimagesequence,audiostream,motiondetector,andsoon.Further,letM1,...,Mnbemetadata(dataaboutdata)includingannotations,foreachstream.Thismetadatamightincludethesensor’slocationandtype,viewpoint,angles,cameracalibrationparameters,oranyothersimilarparametersrelevanttothedatastream.Inmostcases,featuredetectorsmustbeappliedtoeachdatastreamtoobtainfeaturesthatarerelevantinagivenapplication.LetusrepresentfeaturestreamFij,whereFijisthejthfeaturestreamfromSi.MultimediaComputingMultimediacomputingandcommunicationtechniquesCombinethedatasetSianditsfeaturestreamFijusingthemetadataMitoextractinformationabouttheenvironmentrequiredtosolveagivenproblem.Inthisprocess,thesystemoftenCombinepartial,sometimesuncertain,informationfrommultiplesourcestogetmorecompleteandreliableinformationabouttheenvironment.MultimediaandMonomediaComputingAdefiningdifferenceinmultimediafrommonomedia(K=1)fieldslikecomputervisionoraudioprocessingisthatinmultimedia,partialinformationfrommultiplemediasources

iscorrelatedandcombinedtogetcompleteinformationabouttheenvironment.Multimedia

TechnologiesLecture04ContentsReview

ofLecture03MediaMultimediaLatestDevelopmentofMultimediaModalitiesLatestDevelopmentofMultimediaModalitiesLatestNLPdevelopmentLatestAudioProcessingdevelopmentLatestImageProcessingdevelopment123456LatestAnimationProcessingdevelopmentLatestGraphicProcessingdevelopmentLatestVideoProcessingdevelopmentGemini–LatestNLPDevelopmentGemini–LatestNLPDevelopmentGemini–LatestNLPDevelopmentGemini–LatestNLPDevelopmentGemini–LatestNLPDevelopmentLatestDevelopmentofMultimediaModalitiesLatestNLPdevelopmentLatestAudioProcessingdevelopmentLatestImageProcessingdevelopment123456LatestAnimationProcessingdevelopmentLatestGraphicProcessingdevelopmentLatestVideoProcessingdevelopmentGemini–LatestAudioProcessingDevelopmentGemini–LatestAudioProcessingDevelopmentGemini–LatestAudioProcessingDevelopmentGemini–LatestAudioProcessingDevelopmentGemini–LatestAudioProcessingDevelopmentLatestDevelopmentofMultimediaModalitiesLatestNLPdevelopmentLatestAudioProcessingdevelopmentLatestImageProcessingdevelopment123456LatestAnimationProcessingdevelopmentLatestGraphicProcessingdevelopmentLatestVideoProcessingdevelopmentGemini–LatestImageProcessingDevelopmentGemini–LatestImageProcessingDevelopmentGemini–LatestImageProcessingDevelopmentGemini–LatestImageProcessingDevelopmentGemini–LatestImageProcessingDevelopmentLatestDevelopmentofMultimediaModalitiesLatestNLPdevelopmentLatestAudioProcessingdevelopmentLatestImageProcessingdevelopment123456LatestAnimationProcessingdevelopmentLatestGraphicProcessingdevelopmentLatestVideoProcessingdevelopmentGemini–LatestAnimationProcessingDevelopmentGemini–LatestAnimationProcessingDevelopmentGemini–LatestAnimationProcessingDevelopmentGemini–LatestAnimationProcessingDevelopmentGemini–LatestAnimationProcessingDevelopmentLatestDevelopmentofMultimediaModalitiesLatestNLPdevelopmentLatestAudioProcessingdevelopmentLatestImageProcessingdevelopment123456LatestAnimationProcessingdevelopmentLatestGraphicProcessingdevelopmentLatestVideoProcessingdevelopmentGemini–LatestGraphicProcessingDevelopmentGemini–LatestGraphicProcessingDevelopmentGemini–LatestGraphicProcessingDevelopmentGemini–LatestGraphicProcessingDevelopmen