影視視頻制作,企業(yè)宣傳片制作,公司宣傳片拍攝,天源文化傳播有限公司

　　理解長短期記憶LSTM 神經(jīng)網(wǎng)絡(luò)人類并不是從混沌狀態(tài)開始他們的思考。就像你讀這篇文章時，你是建立在你之前對文字的理解上。你并不是學(xué)習(xí)結(jié)束之后就丟棄掉你學(xué)到的東西，然后再從混沌狀態(tài)開始。因為你的思想有持續(xù)性然而，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)并不能做到持續(xù)記憶，這應(yīng)該是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的一個缺陷。假想一下，你想讓神經(jīng)網(wǎng)絡(luò)對電影中每個時間點(diǎn)的事件進(jìn)行分類，很明顯，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不能使用前一個事件去推理下一個事件遞歸神經(jīng)網(wǎng)絡(luò)可以解決這個問題。它們是帶有循環(huán)的神經(jīng)網(wǎng)絡(luò)，允許信息保留一段時間在上圖中，A 代表神經(jīng)網(wǎng)絡(luò)主體, xt 是網(wǎng)絡(luò)輸入，ht是網(wǎng)絡(luò)輸出，循環(huán)結(jié)構(gòu)允許信息從當(dāng)前輸出傳遞到下一次的網(wǎng)絡(luò)輸入這些循環(huán)讓遞歸神經(jīng)網(wǎng)絡(luò)看起來有點(diǎn)神秘，然而，如果你再進(jìn)一步思考一下，公司宣傳片拍攝它與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)并沒有太多不同。一個遞歸神經(jīng)網(wǎng)絡(luò)可以看多是一個網(wǎng)絡(luò)的多次拷貝，每次把信息傳遞給他的繼任者。讓我們把網(wǎng)絡(luò)展開，你會看到發(fā)生了什么人門希望RNNs能夠連接之前的信息到當(dāng)前的任務(wù)中，例如，使用之前的圖像幀信息去輔助理解當(dāng)前的幀。如果RNNs可以做到這個，衛(wèi)視每天須播30分鐘以上國產(chǎn)紀(jì)錄片，它們將會特別的有用，但是它們可以做到嗎？這要視情況而定有時，我們僅僅需要使用當(dāng)前的信息去執(zhí)行當(dāng)前的任務(wù)。例如， 一個語言模型試圖根據(jù)之前的單詞去預(yù)測下一個單詞。如果我們試圖去預(yù)測“the clouds are in the sky”,我們不需要更多的上下文信息 很明顯下一個單詞會是sky。在類似這種相關(guān)信息和需要它的場合并不太多的情景下，RNNs可以學(xué)習(xí)使用之前的信息長短期記憶網(wǎng)絡(luò) 通暢叫做”LSTMs” 是一種特殊的RNNs， 它能夠?qū)W習(xí)長期依賴。LSTM由Hochreiter LSTMs被明確的設(shè)計用來解決長期依賴問題，記住長時間段的信息是他們的必備技能，不像RNNs那么費(fèi)力去做還做不好所有的遞歸神經(jīng)網(wǎng)絡(luò)都有重復(fù)神經(jīng)網(wǎng)絡(luò)本身模型的鏈?zhǔn)叫问?。在?biāo)準(zhǔn)的RNNs， 這個復(fù)制模塊只有一個非常簡單的結(jié)構(gòu)，例如一個雙極性（tanh）層LSTMs 也有這種鏈?zhǔn)浇Y(jié)構(gòu)，但是這個重復(fù)模塊與上面提到的RNNs結(jié)構(gòu)不同：LSTMs并不是只增加一個簡單的神經(jīng)網(wǎng)絡(luò)層，而是四個，它們以一種特殊的形式交互別擔(dān)心中間到底發(fā)生了什么。我們接下來會一步一步的理解這個LSTM圖。首先，我們要首先適應(yīng)一下我們將會使用的符號表示方法在上圖中，每條線表示一個向量，從一個輸出節(jié)點(diǎn)到其他節(jié)點(diǎn)的輸入節(jié)點(diǎn)。這個粉紅色圓圈表示逐點(diǎn)式操作，就像向量加法。黃色的盒子是學(xué)習(xí)好的神經(jīng)網(wǎng)絡(luò)的層。線條合表示聯(lián)結(jié)，相反，線條分叉表示內(nèi)容被復(fù)制到不同位置LSTM的第一步就是決定什么信息應(yīng)該被神經(jīng)元遺忘。這是一個被稱為“遺忘門層”的Sigmod層組成的。它輸入 ht1和xt,然后在Ct1 的每個神經(jīng)元狀態(tài)輸出01之間的數(shù)字。“1”表示“完全保留這個”，“0”表示“完全遺忘這個”讓我們再次回到那個嘗試去根據(jù)之前的詞語去預(yù)測下一個單詞的語言模型。在這個問題中，神經(jīng)元狀態(tài)或許包括當(dāng)前主語中的性別信息，所以可以使用正確的代詞。當(dāng)我們看到一個新的主語，我們會去遺忘之前的性別信息下一步就是決定我們要在神經(jīng)元細(xì)胞中保存什么信息，這包括兩個部分。企業(yè)宣傳片制作首先，公司宣傳片拍攝一個被稱為“遺忘門層”的Sigmod層決定我們要更新的數(shù)值。然后，一個tanh層生成一個新的候選數(shù)值，Ct,它會被增加到神經(jīng)元狀態(tài)中。在下一步中中，我們會組合這兩步去生成一個更新狀態(tài)值在那個語言模型例子中，我們想給神經(jīng)元狀態(tài)增加新的主語的性別，替換我們將要遺忘的舊的主語是時候去更新舊的神經(jīng)元狀態(tài)Ct1到新的神經(jīng)元狀態(tài)Ct了。之前的步驟已經(jīng)決定要做什么，下一步我們就去做我們給舊的狀態(tài)乘以一個ft,遺忘掉我們之前決定要遺忘的信息，步行街規(guī)劃設(shè)計管理論文然后我們增加itCt。這是新的候選值，是由我們想多大程度上更新每個狀態(tài)的值來度量的在語言模型中，就像上面描述的，這是我們實(shí)際上要丟棄之前主語的性別信息，增加新的主語的性別信息的地方最后，騰訊品牌戰(zhàn)略的行動路線圖，我們要決定要輸出什么。這個輸出是建立在我們的神經(jīng)元狀態(tài)的基礎(chǔ)上的，但是有一個濾波器。首先，我們使用Sigmod層決定哪一部分的神經(jīng)元狀態(tài)需要被輸出；然后我們讓神經(jīng)元狀態(tài)經(jīng)過tanh（讓輸出值變?yōu)?11之間）層并且乘上Sigmod門限的輸出，我們只輸出我們想要輸出的對于那個語言模型的例子，當(dāng)我們看到一個主語的時候，或許我們想輸出相關(guān)動詞的信息，因為動詞是緊跟在主語之后的。例如，它或許要輸出主語是單數(shù)還是復(fù)數(shù)的，然后我們就知道主語聯(lián)結(jié)的動詞的語態(tài)了。