1. PIL Image
??通常, pytorch處理數據集用的是PIL Image的庫, 通過PIL Image來讀取圖像文件, 然后再轉成tensor送給network, 那在送入network之前的這一段都是pytorch的數據前處理部分(data preprocess), 主要是以下幾個步驟
- 打開圖像圖像, 產生PIL image格式數據
from PIL import Image
img = Image.open('image_path')
??產生的PIL_image格式數據的取值范圍是[0,255]
??形狀(shape)是[h, w, c]
??像素順序是RGB
- 經過toTensor()之后
from torchvision.transforms import ToTensor
tensor = ToTensor()(PIL_img)
# 或者
np_data = np.asarray(PIL_img)
tensor = ToTensor()(np_data)
?? ToTensor()接收PIL格式的數據, 或者是直接從PIL轉來的np.ndarray格式數據, 只要保證進來的數據取值范圍是[0, 255], 形狀是[h, w, c], 像素順序是RGB, 它就會幫你做下面的事情
?? 取值范圍[0, 255] / 255.0 => [0, 1.0], 數據格式從int8變成了float32
?? 形狀(shape)轉為[c, h, w]
??像素順序依舊是RGB
- DeblurGAN的數據預處理又多做了一步, 把[0, 1]數據范圍調整到[-1, 1]
from torchvision.transforms import Normalize
tensor = Normalize((0.5, 0.5, 0.5),(0.5, 0.5, 0.5))(tensor)
??(0.5,0.5,0.5)和(0.5,0.5,0.5)分別是三個通道的mean和std, ([0, 1] - mean) / std => [-1, 1]
- 前處理完成, 進入network
?? 所以, 進入network的數據取值范圍是[-1, 1]
?? 形狀(shape)是[c, h, w]
?? 像素順序是RGB
??經過了Network的處理之后, 出來的還是一個三通道的圖像, 取值范圍依然是[-1, 1](在最后一步經過了clamp(-1,1)), 形狀(shape)是[c, h, w], 像素順序是RGB, 要得到可以看的圖像, 那就要把前面的步驟反著再來一遍
- 從tensor獲取numpy格式數據ndarray, 調整shape與PIL Image相同
import numpy as np
image_numpy = image_tensor[0].cpu().float().numpy()
image_numpy = np.transpose(image_numpy, (1, 2, 0))
??transpose(image_numpy, (1, 2, 0))做的事情就是調整shape, 將形狀從[h, w, c]調整到[c, h, w]
- 調整數據范圍從[-1, 1] => [0, 255.0]
image_numpy = (image_numpy+ 1) / 2.0 * 255.0
??這個時候的數據格式還是float32
- 將數據格式float32 => int8
import numpy as np
image_numpy.astype(np.uint8)
- 轉為PIL格式
from PIL import Image
img = Image.fromarray(image_numpy）
?? 這樣, 便得到了PIL格式的輸出圖像, 取值范圍[0,255], 數據格式uint8
?? 形狀(shape)是[h, w, c]
?? 像素順序是RGB
?? 其實, 從tensor->PIL, pytorch有更方便的做法, 就是ToPILImage
#PIL-> tensor -> PIL
from torchvision.transforms import ToPILImage
PIL_img = Image.open('test_pic.jpeg')
tensor_from_PIL = ToTensor()(PIL_img)
img = ToPILImage()(tensor_from_PIL)
#PIL -> np.ndarray -> tensor -> PIL
from torchvision.transforms import ToPILImage
PIL_img = Image.open('test_pic.jpeg')
np_img = np.asarray(PIL_img)
tensor_from_np = ToTensor()(np_img)
img = ToPILImage()(tensor_from_np)
?? ToPILImage()會自動幫你做下面的事情
- 將每個元素*255
- float32 -> uint8
- tensor -> ndarray
- 對ndarray對象做transpose(1, 2, 0)
- 利用
Image.fromarray(ndarray)轉為PIL格式
??但是DeblurGAN的輸出范圍是[-1, 1], 如果要直接用ToPILImage(), 那在用之前要先把數據范圍[-1, 1] => [0, 1]
2. Opencv
?? 上文中, 我們一直在強調像素順序是RGB, 其實在PIL->tensor->PIL的過程中, 像素順序是沒有變化的, 但是如果是用opencv來打開圖像, 像素順序就變成了BGR, 這點要注意
from PIL import Image
import cv2
import numpy as np
cv_img = cv2.imread('image_path')
cv2.imshow("opencv_img", cv_img)
PIL_img = Image.open('image_path')
np_img = np.asarray(PIL_img)
np_bgr_img = cv2.cvtColor(np_img, cv2.COLOR_RGB2BGR)
cv2.imshow("rgb_img", np_img)
cv2.imshow("bgr_img", np_bgr_img)
cv2.waitKey()
?? opencv讀取出來的格式是ndarray, 取值范圍[0,255], 數據格式uint8
?? 形狀(shape)是[h, w, c]
?? 像素順序是BGR
?? 在上一段代碼的實驗中, 我們分別看opencv_img rgb_img bgr_img是以下這樣的
??也就是說, opencv認的圖像格式是uint8, [0,255], 形狀是[h, w, c], 像素順序是BGR, 如果直接把RGB順序的ndarray給opencv讓它顯示, 就會產生中間那張怪圖
??如果在用pytorch的時候, 圖像是用opencv得到的, 那除了前面講的那些步驟之外, 在一開始需要把cv2.imread('image_path')得到的ndarray用cv2.cvtColor(np_img, cv2.COLOR_BGR2RGB)先轉成RGB順序的格式
?? 多說一句, 在用cv2.imread()的過程中, 出現報錯
The function is not implemented. Rebuild the library with Windows, GTK+2.x or Carbon support. If you are on Ubuntu or Debian, install libgtk2.0-dev and pkg-config, then re-run cmake or configure script.
?? 我們的opencv是用conda install opencv直接裝的, 要解決這個問題, 裝一下opencv-python就可以了
pip install opencv-python
Ubuntu下調用opencv的cv2.imshow()錯誤
參考文獻
python中PIL.Image和OpenCV圖像格式相互轉換
Pytorch之深入torchvision.transforms.ToTensor與ToPILImage
numpy、cv2等操作圖片基本操作
PyTorch載入圖片后ToTensor解讀（含PIL和OpenCV讀取圖片對比
【pytorch】圖像基本操作
OpenCV、Skimage、PIL圖像處理的細節(jié)差異
