Local Volume Openshift

• 使用本地盤的方式的有三種：emptyDir、HostPath與Local Volume
• Openshift針對Local Volume提供了一個local volume provisioner方便PV的自動創(chuàng)建，但目前它需要創(chuàng)建的PV對應(yīng)的目錄必須是掛載點。否則無法創(chuàng)建PV。
• 除了自動創(chuàng)建PV的過程外，部分與正常使用Local Volume一樣。

手動掛載目錄使用Local Volume

我們先來看下通過手動的方式創(chuàng)建PV使用Local Volume是如何操作的。

1. 創(chuàng)建StorageClass

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: local-hdd
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer

2. 創(chuàng)建PV

apiVersion: v1
 kind: PersistentVolume
 metadata:
   name: local-volume-1
 spec:
   accessModes:
   - ReadWriteOnce
   capacity:
     storage: 1Gi
   local:
     path: /root/hdd/vol1
   nodeAffinity:
     required:
       nodeSelectorTerms:
       - matchExpressions:
         - key: kubernetes.io/hostname
           operator: In
           values:
           - node01.example.com
   storageClassName: local-hdd

3. 創(chuàng)建PVC使用PV

apiVersion: v1
 kind: PersistentVolumeClaim
 metadata:
   name: local-pvc
 spec:
   accessModes:
   - ReadWriteOnce
   resources:
     requests:
       storage: 1Gi
   storageClassName: local-hdd
   volumeName: local-volume-1

4. 對于StatefulSet創(chuàng)建volumeClaimTemplates

volumeClaimTemplates:
  - metadata:
      name: local-pvc
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: local-hdd
      resources:
        requests:
          storage: 1Gi

使用Local Volume Provisioner方式自動掛載目錄使用Local Volume

再次說明：目前它需要創(chuàng)建的PV對應(yīng)的目錄必須是掛載點。

1. 準(zhǔn)備磁盤/分區(qū)，并將它掛載到指定目錄下，每個Node節(jié)點都做一樣的掛載點。如/etc/fstab配置如下

/dev/sdb1       /mnt/local-storage/hdd/disk1 ext4     defaults 1 2

2. 對掛載點目錄設(shè)置權(quán)限，允許容器進行訪問讀寫

$ chcon -R unconfined_u:object_r:svirt_sandbox_file_t:s0 /mnt/local-storage/

3. 創(chuàng)建一個新的Project，為部署Local Volume Provisioner準(zhǔn)備

$ oc new-project local-storage.

4. 導(dǎo)入主機local volume的目錄配置，即創(chuàng)建對應(yīng)的configmap

$ cat  << EOF | create -f 
apiVersion: v1
kind: ConfigMap
metadata:
  name: local-volume-config
data:
    storageClassMap: |
        local-hdd:
            hostDir: /mnt/local-storage/hdd
            mountDir: /mnt/local-storage/hdd

local-hdd將為創(chuàng)建的StorageClass的名字
hostDir為主機掛載點的父目錄，如果該目錄下有新的掛載點，將會自動創(chuàng)建新的PV
mountDir為Provisioner Pod的掛載點，最好與hostDir一致

5. 準(zhǔn)備serviceaccount等權(quán)限配置

$ oc create serviceaccount local-storage-admin
$ oc adm policy add-scc-to-user privileged -z local-storage-admin

6. 安裝Local Volume Provisioner

$ oc create -f https://raw.githubusercontent.com/openshift/origin/release-3.11/examples/storage-examples/local-examples/local-storage-provisioner-template.yaml
$  oc new-app -p CONFIGMAP=local-volume-config \
  -p SERVICE_ACCOUNT=local-storage-admin \
  -p NAMESPACE=local-storage \
  -p PROVISIONER_IMAGE=docker.io/xhuaustc/openshift3-local-storage-provisioner:v3.11 \ 
  local-storage-provisioner

7. 創(chuàng)建對應(yīng)的storageclass

$ cat << EOF | oc create -f -
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
 name: local-hdd
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer
EOF

至此，部署完成。使用方式與手動創(chuàng)建PV一樣。新加一塊存儲也非常容易，只需要在各個Node節(jié)點的hostDir目錄下創(chuàng)建新掛載點，并更新好權(quán)限，Local Volume Provisioner將會自動創(chuàng)建PV以供使用。
需要注意的是，PVC的配置yaml中，storageClassName必須寫在spec的配置中。而openshift console默認(rèn)是將storageclass寫在metadata->annotations->volume.beta.kubernetes.io/storage-class: local-hdd，所以通過openshift console創(chuàng)建的pvc是無法使用Local Volume創(chuàng)建的pv的。