VIDEO (LANGUAGE) MODELING: A BASELINE FOR GENERATIVE MODELS OF NATURAL V...
難點(diǎn): 1、模型必須理解如何傳播運(yùn)動以及處理遮擋。 2、短期預(yù)測:從模型改進(jìn)(從預(yù)測像素值改為預(yù)測動作) 3、模糊:從代價函數(shù)改進(jìn)(加入GAN)...
計劃:上午調(diào)試prednet的代碼,完成refine net的訓(xùn)練,以及多幀的訓(xùn)練。 下午: 看有關(guān)光流估計的paper, 以及在Caltech...
問題:無監(jiān)督學(xué)習(xí)到的特征更好的泛化到監(jiān)督訓(xùn)練分布之外的樣例上。 任務(wù):通過視頻預(yù)測,將預(yù)測的幀作為分類器的輸入,從而提高行為預(yù)測的精度。 通過視...
問題:CNN-based光流預(yù)測在合成的數(shù)據(jù)上表現(xiàn)很好,但是在真是的場景中表現(xiàn)不好 方法:訓(xùn)練中加入真實數(shù)據(jù),進(jìn)行自監(jiān)督的視頻預(yù)測任務(wù)。 改進(jìn)方...
問題: 視頻預(yù)測需要捕捉:1、pixe-wise appearance. 2、motion change。然而現(xiàn)在的方法并不對pixel-wis...
1、給定兩幀的關(guān)節(jié)點(diǎn)位置信息,學(xué)習(xí)到類似光流的轉(zhuǎn)換,應(yīng)用到第一幀的圖像上,生成下一幀? 2、身份信息并沒有保留? 生成過程:通過合理地表示生成的...
任務(wù): 預(yù)測未來幀的場景分割,給定視頻幀的輸入序列,預(yù)測未觀察到的幀的場景圖。 動機(jī): 預(yù)測像素值與預(yù)測高層次的場景相比過于復(fù)雜,然而后者對于大...
編碼-解碼框架不同于: 1、先解碼再編碼。 2、每次對groundtruth和預(yù)測的幀之間的差進(jìn)行編碼,進(jìn)行下一次預(yù)測。 3、多幀預(yù)測時對相鄰兩...