以整合視聽覺特徵之深度學習模型於偵測影片精彩片段之研究
文章推薦指數： 80 %
現今，每一分鐘就有超過500個小時的影片上傳至YouTube上，由於多媒體資料量急遽成長，讓機器能夠自動偵測影片中最有趣的精華片段，將會是越來越重要的課題。
資料載入處理中...
跳到主要內容
臺灣博碩士論文加值系統
:::
網站導覽|
首頁|
關於本站|
聯絡我們|
國圖首頁|
常見問題|
操作說明
English
|FB專頁
|Mobile
免費會員
登入|
註冊
功能切換導覽列
(165.22.51.111)您好！臺灣時間：2022/07/2315:28
字體大小：
:::
詳目顯示
recordfocus
第1筆/
共1筆
/1頁
論文基本資料
摘要
外文摘要
目次
參考文獻
電子全文
紙本論文
QRCode
本論文永久網址: 複製永久網址Twitter研究生:徐敏研究生(外文):HSU,MIN論文名稱:以整合視聽覺特徵之深度學習模型於偵測影片精彩片段之研究論文名稱(外文):DeepLearningModelsforVideoHighlightDetectionbyIntegratingVisualandAuditoryFeatures指導教授:林敏勝指導教授(外文):LIN,MIN-SHENG口試委員:李選士、洪茂盛、張明桑、林敏勝口試委員(外文):LEE,HSUAN-SHIH、HORNG,MAW-SHENG、CHANG,MING-SANG、LIN,MIN-SHENG口試日期:2020-07-08學位類別:碩士校院名稱:國立臺北科技大學系所名稱:電機工程系學門:工程學門學類:電資工程學類論文種類:學術論文論文出版年:2020畢業學年度:108語文別:中文論文頁數:38中文關鍵詞:深度學習、圖形識別、音訊處理、影片摘要、精華剪輯外文關鍵詞:DeepLearning、PatternRecognition、AudioSignalProcessing、VideoSummarization、HighlightDetection相關次數:
被引用:0點閱:221評分:下載:31書目收藏:0
現今，每一分鐘就有超過500個小時的影片上傳至YouTube上，由於多媒體資料量急遽成長，讓機器能夠自動偵測影片中最有趣的精華片段，將會是越來越重要的課題。
本論文使用了深度學習等相關技術來偵測YouTube視頻遊戲串流影片中的精華片段。
我們所提出的模型包括：2D卷積神經網路(2D_CNN)、3D卷積神經網路(3D_CNN)、2D卷積神經網路加上雙向LSTM(2D_CNN_LSTM)。
實驗結果顯示在準確率與F1score的評比上，3D_CNN與2D_CNN_LSTM表現較優。
此外，我們也針對視聽覺特徵的影響性進行評估，實驗結果顯示同時考慮視聽覺特徵的模型，其表現幾乎都優於只有考慮視覺影像特徵的模型與只有考慮聽覺音訊特徵的模型。
Nowadays,morethan500hoursofvideoareuploadedtoYouTubeperminute.Asthevolumeofmultimediaincreasesdramatically,itbecomesincreasinglyimportanttoautomaticallydetectthehighlightsofavideoforextractingthemostinterestingclipsfromit.ThisthesisappliesthedeeplearningmethodandotherrelatedtechnologiestodetectthehighlightsofavideogamestreamingonYouTube.Theproposedmodelsinclude(1)2Dconvolutionalneuralnetwork(2D_CNN),(2)3Dconvolutionalneuralnetwork(3D_CNN),and(3)2DconvolutionalneuralnetworkfollowedbybidirectionalLSTM(2D_CNN_LSTM).Theexperimentalresultsshowthatboth3D_CNNand2D_CNN_LSTMoutperformintermsofaccuracyandF1score.Theexperimentsalsomeasurethecontributionsofvisualandauditoryfeaturesandshowthatthemodelsintegratingbothvisualandauditoryfeaturesalwaysoutperformthemodelswithonlyvisualfeatureandthemodelswithonlyauditoryfeature.
摘要iABSTRACTii誌謝iii目錄iv表目錄vi圖目錄vii第一章緒論11.1前言11.2研究動機與目的21.3論文架構2第二章文獻探討32.1深度學習32.2圖像處理42.3音訊處理52.4相關文獻探討6第三章研究方法73.1資料蒐集73.2資料預處理73.32D卷積神經網路架構83.4雙向LSTM103.53D卷積神經網路113.6提前終止與模型檢查點123.7混淆矩陣12第四章實驗結果與分析144.1實驗設置144.2模型訓練之實驗154.2.12D卷積神經網路154.2.23D卷積神經網路204.2.32D卷積神經網路加雙向LSTM274.3實驗結果與比較33第五章結論與未來展望355.1結論355.2未來展望35參考文獻36
[1]Wikipedia:英雄聯盟.RetrievedJune18,2020,fromhttps://zh.wikipedia.org/zh-tw/英雄聯盟[2]Medium:DNN-深度神經網路.RetrievedJune18,2020,fromhttps：//medium.com/一人多工工作室/dnn-深度神經網路-cf892cbb06d5[3]iT幫幫忙:處理影像的利器-卷積神經網路(ConvolutionalNeuralNetwork).RetrievedJune18,2020,fromhttps://ithelp.ithome.com.tw/articles/10191820[4]Medium:[資料分析&機器學習]卷積神經網絡介紹(ConvolutionalNeuralNetwork).RetrievedJune18,2020,fromhttps://medium.com/jameslearningnote/資料分析-機器學習-第5-1講-卷積神經網路介紹-convolutional-neural-network-4f8249d65d4f[5]MehmetHacibeyoglu,"HumanGenderPredictiononFacialImagesTakenbyMobilePhoneusingConvolutionalNeuralNetworks,"InternationalJournalofIntelligentSystemsandApplicationsinEngineering,2018.[6]IntroductiontoAudioSignals.RetrievedJune18,2020,fromhttp://mirlab.org/jang/books/audioSignalProcessing/audioIntro.asp?title=3-1%20Introduction%20to%20Audio%20Signals[7]C.LinandY.Chen,"SportsVideoSummarizationwithLimitedLabelingDatasetsBasedon3DNeuralNetworks,"201916thIEEEInternationalConferenceonAdvancedVideoandSignalBasedSurveillance(AVSS),Taipei,Taiwan,2019.[8]L.Hsieh,C.Lee,T.ChiuandW.Hsu,"LiveSemanticSportHighlightDetectionBasedonAnalyzingTweetsofTwitter,"2012IEEEInternationalConferenceonMultimediaandExpo,Melbourne,VIC,2012.[9]J.Lee,J.KimandH.Kim,"MusicEmotionClassificationBasedonMusicHighlightDetection,"2014InternationalConferenceonInformationScience&Applications(ICISA),Seoul,2014.[10]T.Chavan,V.Patil,P.RokadeandS.Dholay,"SuperintendenceVideoSummarization,"2020InternationalConferenceonEmergingTrendsinInformationTechnologyandEngineering(ic-ETITE),Vellore,India,2020.[11]ShuwenXiao,ZhouZhao,ZijianZhang,XiaohuiYan,MinYang,"ConvolutionalHierarchicalAttentionNetworkforQuery-FocusedVideoSummarization",InarXiv.arXiv:2002.03740[cs.CV]31Jan2020.[12]YouTube:EpicSkillshot-LoLVODLibrary.RetrievedJune18,2020,fromhttps：//www.youtube.com/channel/UCdOWyp25T0HDtjpnV2LpIyw[13]YouTube:OniviaLEC,LCS,LCK,LPLHighlights.RetrievedJune18,2020,fromhttps：//www.youtube.com/channel/UCPhab209KEicqPJFAk9IZEA[14]AndrewG.Howard,MenglongZhu,BoChen,DmitryKalenichenko,WeijunWang,TobiasWeyand,MarcoAndreetto,HartwigAdam.“MobileNets:EfficientConvolutionalNeuralNetworksforMobileVisionApplications.”InarXiv.1704.04861v1[cs.CV]17Apr2017.[15]知呼:輕量化網路ShuffleNetMobileNetv1/v2解析UnderstandingLSTMNetworks.RetrievedJune18,2020,fromhttps://zhuanlan.zhihu.com/p/35405071[16]colah’sblog:UnderstandingLSTMNetworks.RetrievedJune18,2020,fromhttps://colah.github.io/posts/2015-08-Understanding-LSTMs/[17]A.Mukherjee,S.Mukhopadhyay,P.K.PanigrahiandS.Goswami,"UtilizationofOversamplingformulticlasssentimentanalysisonAmazonReviewDataset,"2019IEEE10thInternationalConferenceonAwarenessScienceandTechnology(iCAST),Morioka,Japan,2019.[18]DuTran,LubomirBourdev,RobFergus,LorenzoTorresani,ManoharPaluri,"LearningSpatiotemporalFeatureswith3DConvolutionalNetworks,"InarXiv:1412.0767[cs.CV],2Dec2014.[19]Medium:Precision,Recall,F1-score簡單介紹.RetrievedJune18,2020,fromhttps://medium.com/nlp-tsupei/precision-recall-f1-score簡單介紹-f87baa82a47
電子全文
國圖紙本論文
推文
網路書籤
推薦
評分
引用網址
轉寄
top
相關論文
相關期刊
熱門點閱論文
1.
深度學習技術於鍍鋅鋼板缺陷偵測
2.
基於物件辨識比較TensorFlow與TensorFlow.JS
3.
任意方向橫書及直書之場景文字辨識
4.
以zeroshot為基礎之音訊超解析模型
5.
卷積神經網路於鐵軌缺陷導波譜圖分類的應用
6.
整合主動式攝影機與深度學習技術之橋梁瑕疵檢測系統的研究
7.
皮革瑕疵之AI深度學習技術導入研究
8.
運用深度學習攝影機之智慧保全服務系統的研究
9.
Downsized-YOLOv3應用於合成孔徑雷達船隻影像偵測
10.
基於深度學習之新式防偽條碼偵測與訊息解碼技術
11.
整合MatConvNet及Caffe深度學習與iOS圖形辨識App之發展應用
12.
整合深度學習與工業用電腦視覺函式庫之車牌辨識
13.
結合無線訊號強度與攜帶模式辨識資訊之深度學習室內定位方法
無相關期刊
1.
深度學習應用於偵測BBS垃圾貼文之研究
2.
機器學習應用於電影評價預測與分類之研究
3.
深度學習模型於中文對聯生成之比較研究
4.
基於深度學習來預測電影票房之時間序列
5.
利用深度學習進行人臉情緒辨識之研究
6.
基於影像處理與判別性損失深度學習模型之蝴蝶蘭盆苗分級系統
7.
基於深度學習卷積神經網路之咖啡瑕疵豆辨識方法
8.
基於高光譜影像使用深度學習進行人臉辨識
9.
應用深度學習法於水果缺陷自動檢測之研究
10.
深度學習應用於YouTube影片情緒分類
11.
深度學習於台股動態投資組合之應用
12.
深度學習應用於中文成語與同義成語寫作之推薦
13.
基於深度學習之無人機物件追蹤技術開發
14.
基於深度學習之設備剩餘使用壽命預測模型
15.
基於技術指標應用深度學習於冰水主機性能預測
簡易查詢 |
進階查詢 |
熱門排行 |
我的研究室
