經典解析 - AI深度學習的一些實用技能
來源：原創(chuàng) 時間：2018-02-12 瀏覽：0 次關于許多具有應戰(zhàn)性的現(xiàn)實問題，深度學習已經成為最有用的處理辦法。
例如，關于方針檢測，語音辨認和言語翻譯等問題，深度學習可以體現(xiàn)出最佳的功能。許多人以為深度神經網絡(DNNs)是一種奇特的黑盒子，咱們只需求輸入一堆數據，網絡就可以輸出咱們所要的處理計劃！可是，在實踐中咱們往往會碰到更多、更雜亂的問題。
在規(guī)劃網絡模型并將DNNs運用到一個特定的問題上，往往會遇到許多應戰(zhàn)。關于某一特定的實踐問題，咱們需求依據實踐運用，正確地規(guī)劃并練習網絡模型，一起數據的準備作業(yè)也是至關重要的，這將直接影響模型的練習和推理進程。
經過這篇博文，我將與咱們共享7個深度學習實用技巧，教你怎么讓深度神經網絡發(fā)揮最大效果。
▌1、數據！數據！數據！
眾所周知的是，假如把深度學習比作一臺大型的機器，那么數據就好比是這臺機器的燃料，一起它的數量也能決議深度學習這臺機器的功能好壞。有標簽的數據越多，模型的功能越好。
在實踐運用中，布置一個深度學習模型時你需求不斷地為其供給更多的數據，并經過微調參數來進一步進步模型的功能。假如你想進步模型功能的話，那就盡可能取得更多的數據吧！
添加數據量可以穩(wěn)定地進步模型的功能
▌2、你應該運用哪種優(yōu)化器呢？
經過多年的探究，研討人員開發(fā)了不同的梯度下降優(yōu)化算法(SGD)，但各有各的優(yōu)缺點。常被廣泛運用的算法包含：
帶動量的隨機梯度下降法
?Adam法
RMSprop法
Adadelta法
其間，RMSprop，Adadelta和Adam法都是一種自適應優(yōu)化算法，由于它們會自動更新學習速率。假如運用一般的隨機梯度下降法，你需求手動地挑選學習率和動量參數，設置動量參數是為了跟著時刻的推移來不斷地下降學習率。
在實踐中，自適應優(yōu)化器往往比一般的梯度下降法更快地讓模型到達收斂狀況?？墒?，挑選這些優(yōu)化器的模型終究功能一般都不太好，而一般的梯度下降法一般可以到達更好的收斂最小值，然后取得更好的模型功能，但這可能比某些優(yōu)化程序需求更多的收斂時刻。此外，隨機梯度下降法也更依賴于有用的初始化辦法和學習速率衰減指數的設置，這在實踐中是很難斷定的。
因而，假如你只是想快速地取得一些成果，或許只是想測驗一個新的技能，自適應優(yōu)化器將會是不錯的挑選。Adam是個簡略上手的自適應優(yōu)化器，由于它對初始學習率的設置沒有很嚴厲的要求，關于學習率的改動進程也并不是很靈敏，因而十分利于深度學習模型的布置。假如你想取得模型的最優(yōu)功能，可以測驗挑選帶動量的隨機梯度下降法，并經過設置學習率，衰減率和動量參數來最大化模型的功能。
最近的研討標明，你可以混合地運用兩類優(yōu)化器：由Adam優(yōu)化器過渡到隨機梯度下降法來優(yōu)化模型，可以取得最頂尖的練習模型！詳細的做法是，在練習的前期階段，往往是模型參數的初始化和調整十分靈敏的時分。因而，咱們可以運用Adam優(yōu)化器來發(fā)動模型的練習，這將為模型的練習節(jié)約許多參數初始化和微調的時刻。一旦模型的功能有所崎嶇，咱們就可以切換到帶動量的隨機梯度下降法來進一步優(yōu)化咱們的模型，以到達最佳的功能！
Adam與SGD的功能比照。
由于自適應優(yōu)化算法可以自適應地設置學習率，其魯棒性更好，
因而Adam在練習的初期功能更佳，
而SGD可以在練習完畢后取得更好的大局最小值。
▌3、怎么處理數據不平衡問題
在實踐運用中，許多狀況下咱們將面臨不平衡的數據散布。舉一個簡略的實踐比如：你要練習一個深度網絡來猜測視頻Feed流中是否有人持有喪命兵器。可是練習數據中，只要50個視頻中有拿著兵器的人以及1000個不帶兵器的視頻！假如只是用這些數據來練習深度學習網絡的話，那么模型的功能將不會很好，猜測的成果也將傾向于沒有兵器！這種狀況下，咱們可以經過一些辦法來處理數據的不平衡問題：
對丟失函數運用類別權重。簡略地說，關于數據量小，代表性缺乏的類別，在丟失函數中運用較高的權重值，這樣的話對該類的任何過錯都將導致十分大的丟失值，以此來賞罰過錯分類。
過度抽樣：關于數據量小，代表性缺乏的練習樣本，重復地進行采樣，這有助于平衡數據類別的散布。關于一些很小的數據集來說，這是處理數據不均衡問題的最好辦法。
欠采樣：關于數據量大的類別，在模型練習進程匯總可以簡略地越過而不去挑選這些數據，這也能必定程度上緩解數據的不平衡現(xiàn)象，特別關于大數據集而言。
數據增強(對少樣本的類別)：可以對數據量缺乏的類別做數據增強操作，生成更多的練習樣本！例如，在上面檢測喪命兵器的比如中，你可以改動那些帶喪命兵器視頻的色彩和光照條件，來生成更多的視頻數據。
▌4、搬遷學習
正如上面所說的，深度學習模型一般需求很多的數據，數據量越多，模型的功能也將越好?？墒?，關于一些運用程序來說，大數據的獲取可能很困難，符號數據的本錢花費也很高。假如咱們期望模型的功能到達最佳的話，那么可能至少需求數十萬級的數據來練習深度模型。不僅如此，關于不帶標簽的數據，咱們還需求手動地符號數據，這是項十分耗費本錢的作業(yè)。
面臨這種狀況，搬遷學習將展示其強壯的一面。運用搬遷學習戰(zhàn)略，在不需求太多的練習數據的狀況下就可以讓咱們的模型到達最優(yōu)的功能！舉個比如，例如在百萬級ImageNet數據庫上預練習ResNet模型。然后凍住模型的前幾層權重參數，用咱們的數據重練習模型的終究幾層并微調ResNet模型。
如此，經過重練習ResNet模型的部分層，咱們就可以微調模型學到的圖畫特征信息，以便將其搬遷運用于不同的使命。這是徹底有可能完成的，由于圖畫的低層特征一般都是十分類似的，而高層次的特征則會跟著運用的不同而改動。
搬遷學習的根本流程
▌5、數據增強：快速而簡略地進步模型功能
咱們重復地說到：更多的數據 = 更好的模型體現(xiàn)。除了搬遷學習之外，進步模型功能的另一種快速而簡略的辦法是數據增強。數據增強操作是在確保數據原始類別標簽的一起，對一些原始圖畫進行非線性的圖畫改換，來生成/組成新的練習樣本。 常見的圖畫數據增強辦法包含：
水平或筆直旋轉/翻轉圖畫
隨機改動圖畫的亮度和色彩
隨機含糊圖畫
隨機裁剪圖畫
根本上，你可以對圖畫進行任何操作，改動圖畫的外觀，但不能改動全體的內容。即關于一張狗的相片，你可以改動它的巨細、視點、色彩、清晰度等，但你要確保它仍然是一張狗的相片。
豐厚的數據增強樣本
▌6、集成你的模型！
在機器學習中，一起練習多個模型，然后將它們組合在一起可以取得更高的全體功能。詳細地說，對弈一個特定的使命，在相同的數據集上一起練習多個深度網絡模型。然后，組合模型并經過投票的辦法為每個模型分配不同的權重值。終究依據模型的全體功能決議最優(yōu)的組合計劃。
為了確保每個練習模型都有必定的差異性，咱們可以對權重進行隨機初始化來處理練習模型，還可以經過隨機地數據增強來豐厚咱們的練習數據。一般說來，經過組合多個模型得到的集成模型一般會比單個模型的功能更好，因而這也更靠近實踐運用的需求。特別地，在一些競賽中，取勝方一般都是選用集成模型尋求更佳的全體功能，來處理實踐問題。
集成模型
▌7、剪枝——為你的練習提速
跟著模型深度的添加，模型功能也將更好，但模型的練習速度又怎么呢？層數越深意味著參數量更多，而更多的參數意味著更多的核算和更多的內存耗費，練習速度也將變慢。抱負狀況下，咱們期望在進步練習速度的一起堅持模型的高功能。這可以經過剪枝來完成。
剪枝的中心思維是，深度網絡中存在許多冗余參數，這些參數對模型的輸出沒有太大奉獻。咱們可以按網絡的輸出奉獻來擺放網絡中的神經元，將排名低的那些神經元移除咱們的模型，這樣就可以得到一個更小、更快的網絡。此外，還可以依據神經元權重的L1/L2均值來均勻激活每個神經元，再經過核算神經元在驗證集上不為零的次數或許其他創(chuàng)造性辦法來對神經元進行排序。一個更快/更小的模型，關于深度學習模型在移動設備上布置是至關重要的。
最近的一些研討標明，只是丟掉一些卷積濾波器，就可以在不損耗模型精度的一起加快模型的練習，得到一個快而小的深度模型。在這項研討中，神經元的排名辦法也是適當簡略：在每個修剪迭代中，運用每個濾波器權重的L1范數對一切的過濾器進行排序，然后在悉數層中修剪掉m個排名最低的過濾器，再不斷重復以上的操作直到取得咱們想要的模型。這是個十分成功的剪枝事例。
深度神經網絡修剪的過程
此外，在最近的另一篇剖析ResNet模型結構的文章中，作者提出了一種修剪過濾器的觀念。研討發(fā)現(xiàn)，在移除網絡層的時分，帶剩余銜接的網絡(如ResNets)與那些沒有運用方便銜接的網絡(如VGG或AlexNet)比較，殘差網絡的功能愈加穩(wěn)健，在剪枝的一起也不會過多地影響模型的功能。這項發(fā)現(xiàn)具有重要的實踐意義，這就意味著咱們在布置一個修剪網絡時，網絡規(guī)劃最好要選用殘差網絡結構(如ResNets)，讓咱們的模型魯棒性更好。
