負荷預測-工作記錄

基于輕量化網(wǎng)絡和嵌入式平臺的電力負荷預測算法研究

實現(xiàn)階段

step 1：數(shù)據(jù)處理與分析 pearson.py

數(shù)據(jù)

Area1_Load：
日期20090101~20150110 每天每隔15min的歷史負荷數(shù)據(jù)，
日期20150111~20150117未知，需要預測
共2209-1行

Area1_Weather：
日期20120101~20150117 每天的
最高溫度、最低溫度、平均溫度、平均濕度、降雨量，每日的五個因素的值

計算pearson系數(shù)需要：20120101~20150110的五個因素+日平均負荷

  1. 準備好（1106，5）維和（1106，1）維的數(shù)據(jù)
  2. 拼接成（1106，6）維數(shù)組
  3. DataFrame.corr()求系數(shù)

結(jié)果：
日平均復負荷最高溫度 最低溫度 平均溫度 平均濕度 降雨量
0 1.000000 0.594663 0.638024 0.638560 0.117022 0.072762


result

疑問：如果根據(jù)3\sigma法則刪除異常值，是要把對應的其他幾個因素的值都刪掉嗎，數(shù)據(jù)不連續(xù)會對預測造成影響嗎？
step 2.1：GRU
由于歷史負荷帶有時序信息，將其經(jīng)過1層GRU神經(jīng)元，輸出記為x1
預測的是什么？輸入是什么？
目前問題：

step 2.2：全連接層
x1與step 1中得到的其他因素（氣象因素數(shù)據(jù)和日期類型數(shù)據(jù)（節(jié)假日信息））的數(shù)據(jù)一起，輸入3個全連接層

step 3：剪枝

step 4 ：預測

一些其他方法

image.png

準備階段

關(guān)鍵詞：輕量化/低資源、需求響應分析、嵌入式開發(fā)/應用于終端
應用場景：企業(yè)
滿足需求、不降低用戶體驗的情況下
① 應用背景，輸入是什么，要得到哪些輸出
② 調(diào)研已有算法，哪些有改進空間
③ 代碼實現(xiàn)，先用python把論文解決，再討論嵌入式

大致思路：負荷預測算法的輕量化改進，比如LSTM/GRU的剪枝

重點參考文獻：

基于剪枝優(yōu)化CNN_LSTM混合模型在邊坡位移預測中的應用_鄭海青

在CNN剪枝，再進入LSTM

基于聯(lián)合動態(tài)剪枝的深度神經(jīng)網(wǎng)絡壓縮算

介紹了幾種剪枝方法，靜態(tài)剪枝、動態(tài)剪枝
模型壓縮的最終目的是降低模型的復雜度，減少模型的 存儲空間，并加速模型的訓練和推理。因而，其涉及到多方面 的不同問題，包括優(yōu)化算法、計算機架構(gòu)、數(shù)據(jù)壓縮、硬件設計 等。模型壓縮的主要方法有低秩近似、網(wǎng)絡量化、知識蒸餾、 緊湊網(wǎng)絡設計，以及網(wǎng)絡剪枝
較早的剪枝工作側(cè)重于權(quán)值，通過移除不重要的神經(jīng)元，并對網(wǎng)絡進行再訓練，微調(diào)至收斂。Han 等［6］設計了深度壓縮、結(jié)合剪枝、量化和哈夫曼編碼三種方法，在 AlexNet上獲得了 35 倍的壓縮比。國內(nèi)針對權(quán)值剪枝也有廣泛的研究，鞏凱強等［7］提出了基于統(tǒng)計量的網(wǎng)絡剪枝結(jié)合張量分解的神經(jīng)網(wǎng)絡壓縮方法，選擇均值和方差作為評判權(quán)值貢獻度的依據(jù)，有利于模型在資源受限的嵌入式設備中的部署。王忠鋒等［8］則以梯度作為評判權(quán)值重要性的依據(jù)，移除模型中小于閾值的梯度對應權(quán)值，并且通過再訓練恢復模型容量的損失。
這些方法是靜態(tài)剪枝，還有一些動態(tài)剪枝的方法。

基于梯度的深度網(wǎng)絡剪枝算法

GDP剪枝方法

基于ＧＲＵ－ＮＮ模型的短期負荷預測方法

GRU-NN模型結(jié)構(gòu)

把帶有時序特征的歷史符合數(shù)據(jù)送進GRU，其他沒有時序特征的數(shù)據(jù)直接送入層3組合層，層4~層6的全連接層

想法

1. 數(shù)據(jù)降維：

數(shù)據(jù)量比較大，為了減少計算量，需要減少數(shù)據(jù)量，將數(shù)據(jù)集降維。因為不是每一個特征都對實驗結(jié)果有很大的影響，所以我們需要一個辦法來確定相關(guān)程度，然后刪除掉相關(guān)度不大的特征，實現(xiàn)數(shù)據(jù)降維?？梢赃x擇皮爾森系數(shù)：一種線性相關(guān)系數(shù)，是用來反映兩個變量線性相關(guān)程度的統(tǒng)計量。系數(shù)越大，說明相關(guān)性越強。原文鏈接

2. 剪枝

方法待定
相關(guān)文獻：

基于嵌入式 GPU 的 AI 加速推理技術(shù)研究

在計算機算法中，某些判斷條件下當前分支產(chǎn)生的結(jié)果不可能是最終的正確結(jié)果，對這些不需要的分支進行剪枝，減少不必要的計算量，使得在線提交的代碼可以在規(guī)定時間內(nèi)計算完成。同樣，深度學習中的剪枝也是為了減掉對最終結(jié)果貢獻不大的網(wǎng)絡層，以提升推理速度
方法：先按照一定的范式（某統(tǒng)計量）對卷積核濾波器進行重要性排序，再剪掉排序靠后的濾波器。對于某一層卷積層，其包括多個卷積核，當其中某些卷積核被剪掉后，那么輸出特征圖的通道數(shù)會對應減少，當前卷積層的輸出作為下一層的輸入，因此下一卷積層的輸入特征圖的通道數(shù)會對應減少，與此同時，由于下一層卷積中每個卷積核通道數(shù)應該與輸入特征圖的通道數(shù)相等，因此下一層卷積核的通道數(shù)也應該對應減少。
那么不是卷積核的情況呢？

基于電力大數(shù)據(jù)的用戶用電行為分析與用電優(yōu)化策略研究

3.2節(jié)

基于剪枝優(yōu)化CNN_LSTM混合模型在邊坡位移預測中的應用_鄭海青

通道剪枝，也是針對卷積層進行剪枝


剪枝目標函數(shù)

Q1：這個問題如何求解？
Q2：有沒有數(shù)學推導更為清晰的文獻？

基于聯(lián)合動態(tài)剪枝的深度神經(jīng)網(wǎng)絡壓縮算法

動態(tài)剪枝，其特點為不永久性地移除
任何參數(shù)，轉(zhuǎn)而根據(jù)輸入圖像的特征，動態(tài)地選擇網(wǎng)絡的一部
分參與運算，以降低模型的復雜度

基于梯度的深度網(wǎng)絡剪枝算法

GDP：
壓縮卷積層能獲得更大加速效果，壓縮全連接層更能減少計算模型對存儲空間的占用
Dynamic Network Surgery for Efficient DNNs 貌似略復雜

待解決問題

CNN在預測中的作用

GPU是圖像處理單元，為啥是圖像？

7.30. pytorch自帶剪枝工具prune，這種方法貌似是把要剪枝的權(quán)重置零，模型大小沒變，計算復雜度可能差別不大。那么剪枝方法哪里有新意呢？有沒有其他剪枝方法呢？

目前任務：找一種剪枝方法，理解數(shù)學推導

數(shù)學知識

以下討論針對全連接層（該論文中的層3~層5）

  1. 神經(jīng)網(wǎng)絡結(jié)構(gòu)入門：參考網(wǎng)址
    第i+1層的輸入為第i層的輸出y_{i}：y_{i}=W_{i}^T y_{i-1}+b_i，其中W_{i}為權(quán)值矩陣，b_i為閾值
  2. loss函數(shù)：
    由loss term和regularization term（如L1、L2范式）組成
    loss term常用均方誤差、交叉熵，參考網(wǎng)址
  3. loss對權(quán)值矩陣求導：
    會得到同尺寸的矩陣
  4. 權(quán)值矩陣的維數(shù)：
    輸入維數(shù)\times輸出位數(shù)

問題1：把需要剪枝的權(quán)值置為零，再進行權(quán)值的重新訓練，這樣并沒有降低運算規(guī)模，好處在哪里？
模型的參數(shù)量減小了（模型壓縮），減少計算模型對存儲空間的占用
問題2：“重新訓練”是如何進行的，是僅針對當前這一層嗎？多層神經(jīng)網(wǎng)絡的訓練過程：權(quán)重的調(diào)整訓練還是通過梯度下降法來進行，但梯度的求取使用反向傳播法。參考網(wǎng)址
結(jié)合論文，應該是先全連接訓練一遍，然后剪枝，然后從頭重新訓練一遍。

論文實驗結(jié)果顯示，剪枝不僅壓縮模型，減少參數(shù)量，而且由于更好防止過擬合，能夠提升性能。

算法總體思路總結(jié)：

  1. 計算天氣、溫度等數(shù)據(jù)對負荷的皮爾孫系數(shù)，選用相關(guān)度較大的因素作為模型的輸入，降低數(shù)據(jù)規(guī)模和訓練難度
  2. 由于歷史負荷帶有時序信息，將其經(jīng)過1層GRU神經(jīng)元，輸出記為x_1
  3. 將x_1與步驟1中得到的其他因素的數(shù)據(jù)一起，輸入3個全連接層
  4. 采用GDP剪枝方法，降低參數(shù)量，減少模型對存儲空間的占用
  5. 得到訓練完成的模型，再由輸入求出輸出，記為負荷預測值
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關(guān)閱讀更多精彩內(nèi)容

  • 這個題目取得比較奇怪，原因是：雖然號稱數(shù)學是世界上最簡潔的語言，但是太多的公式難免看的人心慌；其次公式在hexo+...
    Helen_Cat閱讀 2,755評論 0贊 13
  • 姓名：張梅19021210978（智慧宇宙新物種的誕生） 轉(zhuǎn)載自：https://blog.csdn.net/we...
    西電張梅閱讀 1,286評論 0贊 3
  • 1 為什么要對特征做歸一化 特征歸一化是將所有特征都統(tǒng)一到一個大致相同的數(shù)值區(qū)間內(nèi)，通常為[0,1]。常用的特征歸...
    顧子豪閱讀 7,125評論 2贊 22
  • 1 為什么要對特征做歸一化 特征歸一化是將所有特征都統(tǒng)一到一個大致相同的數(shù)值區(qū)間內(nèi)，通常為[0,1]。常用的特征歸...
    顧子豪閱讀 1,857評論 0贊 1
  • 一、深度學習介紹 深度學習是以不少于兩個隱含層的神經(jīng)網(wǎng)絡對輸入進行非線性變換或表示學習的技術(shù)，通過構(gòu)建深層神經(jīng)網(wǎng)絡...
    AI信仰者閱讀 39,842評論 0贊 36

友情鏈接更多精彩內(nèi)容