引言
在近日的工作中,需要分析出用戶的一些行為習慣,因此,需要對日志做一個統(tǒng)計分析。首先要做的是將用戶的活躍度做個排序。因此,如何統(tǒng)計每個用戶上報的消息量,是首要解決的問題。本人計劃在虛擬機中使用hive。打開虛擬機后,發(fā)現(xiàn)虛擬機的磁盤只有40G,可用只有27G,而需要處理的文件至少30G,因此需要對虛擬機磁盤做個擴容。以下為擴容的過程記錄,如有不妥之處,歡迎大神指正。
環(huán)境
VMware 15
Centos 7.6
主機:
master:192.168.10.21
slaver1:192.168.10.22
slaver3:192.168.10.23
簡述下Hadoop集群
Namenode:192.168.10.21
Datanode:192.168.10.22
Datanode:192.168.10.23
Hive相關(guān):
Hive:192.168.10.21
mysql:192.168.10.22
擴容
-
將192.168.10.21(master)進行擴容至70G,首先將master虛擬機關(guān)閉。
image.png -
雙擊硬盤打開虛擬機設(shè)置對話框,然后單擊選中硬盤
image.png 可以看到擴展按鈕是灰色的
注意:一定要先檢查一下,虛擬機是否有快照,如果有快照沒有刪除的話,是沒有法擴展硬盤的。-
附:快照刪除(需要點時間)
虛擬機 -->快照 -->快照管理器。選中對應(yīng)的快照,并點擊刪除。

-
點擊擴展,并填寫大小為70.0
image.png
image.png
image.png
掛載磁盤
-
啟動虛擬機
1.使用CRT登錄
2.使用命令查看當前磁盤情況
[root@master]/root$df -h
文件系統(tǒng) 容量 已用 可用 已用% 掛載點
/dev/mapper/centos-root 37G 20G 18G 52% /
devtmpfs 1.9G 0 1.9G 0% /dev
tmpfs 1.9G 0 1.9G 0% /dev/shm
tmpfs 1.9G 12M 1.9G 1% /run
tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup
/dev/sda1 1014M 146M 869M 15% /boot
tmpfs 378M 0 378M 0% /run/user/0
[root@master]/root$
可以看到原來的磁盤是40G,并沒有擴容。
3.查看磁盤分區(qū)
fdisk -l
[root@master]/root$fdisk -l
磁盤 /dev/sda:75.2 GB, 75161927680 字節(jié),146800640 個扇區(qū)
Units = 扇區(qū) of 1 * 512 = 512 bytes
扇區(qū)大小(邏輯/物理):512 字節(jié) / 512 字節(jié)
I/O 大小(最小/最佳):512 字節(jié) / 512 字節(jié)
磁盤標簽類型:dos
磁盤標識符:0x000b2865
設(shè)備 Boot Start End Blocks Id System
/dev/sda1 * 2048 2099199 1048576 83 Linux
/dev/sda2 2099200 83886079 40893440 8e Linux LVM
磁盤 /dev/mapper/centos-root:39.7 GB, 39720058880 字節(jié),77578240 個扇區(qū)
Units = 扇區(qū) of 1 * 512 = 512 bytes
扇區(qū)大小(邏輯/物理):512 字節(jié) / 512 字節(jié)
I/O 大小(最小/最佳):512 字節(jié) / 512 字節(jié)
磁盤 /dev/mapper/centos-swap:2147 MB, 2147483648 字節(jié),4194304 個扇區(qū)
Units = 扇區(qū) of 1 * 512 = 512 bytes
扇區(qū)大小(邏輯/物理):512 字節(jié) / 512 字節(jié)
I/O 大小(最小/最佳):512 字節(jié) / 512 字節(jié)

4.對磁盤進行分區(qū)
fdisk /dev/sda
然后一路選擇默認就可以
[root@master]/root$fdisk /dev/sda
歡迎使用 fdisk (util-linux 2.23.2)。
更改將停留在內(nèi)存中,直到您決定將更改寫入磁盤。
使用寫入命令前請三思。
命令(輸入 m 獲取幫助):m
命令操作
a toggle a bootable flag
b edit bsd disklabel
c toggle the dos compatibility flag
d delete a partition
g create a new empty GPT partition table
G create an IRIX (SGI) partition table
l list known partition types
m print this menu
n add a new partition 新增分區(qū)
o create a new empty DOS partition table
p print the partition table 查看分區(qū)
q quit without saving changes 退出
s create a new empty Sun disklabel
t change a partition's system id
u change display/entry units
v verify the partition table
w write table to disk and exit 將表寫入磁盤并退出
x extra functionality (experts only)
命令(輸入 m 獲取幫助):p
磁盤 /dev/sda:75.2 GB, 75161927680 字節(jié),146800640 個扇區(qū)
Units = 扇區(qū) of 1 * 512 = 512 bytes
扇區(qū)大小(邏輯/物理):512 字節(jié) / 512 字節(jié)
I/O 大小(最小/最佳):512 字節(jié) / 512 字節(jié)
磁盤標簽類型:dos
磁盤標識符:0x000b2865
設(shè)備 Boot Start End Blocks Id System
/dev/sda1 * 2048 2099199 1048576 83 Linux
/dev/sda2 2099200 83886079 40893440 8e Linux LVM
命令(輸入 m 獲取幫助):n
Partition type:
p primary (2 primary, 0 extended, 2 free)
e extended
Select (default p): p
分區(qū)號 (3,4,默認 3):3
起始 扇區(qū) (83886080-146800639,默認為 83886080):
將使用默認值 83886080
Last 扇區(qū), +扇區(qū) or +size{K,M,G} (83886080-146800639,默認為 146800639):
將使用默認值 146800639
分區(qū) 3 已設(shè)置為 Linux 類型,大小設(shè)為 30 GiB
命令(輸入 m 獲取幫助):p
磁盤 /dev/sda:75.2 GB, 75161927680 字節(jié),146800640 個扇區(qū)
Units = 扇區(qū) of 1 * 512 = 512 bytes
扇區(qū)大小(邏輯/物理):512 字節(jié) / 512 字節(jié)
I/O 大小(最小/最佳):512 字節(jié) / 512 字節(jié)
磁盤標簽類型:dos
磁盤標識符:0x000b2865
設(shè)備 Boot Start End Blocks Id System
/dev/sda1 * 2048 2099199 1048576 83 Linux
/dev/sda2 2099200 83886079 40893440 8e Linux LVM
/dev/sda3 83886080 146800639 31457280 83 Linux
命令(輸入 m 獲取幫助):w
The partition table has been altered!
Calling ioctl() to re-read partition table.
WARNING: Re-reading the partition table failed with error 16: 設(shè)備或資源忙.
The kernel still uses the old table. The new table will be used at
the next reboot or after you run partprobe(8) or kpartx(8)
正在同步磁盤。



再次查看
fdisk -l
[root@master]/root$fdisk -l
磁盤 /dev/sda:75.2 GB, 75161927680 字節(jié),146800640 個扇區(qū)
Units = 扇區(qū) of 1 * 512 = 512 bytes
扇區(qū)大小(邏輯/物理):512 字節(jié) / 512 字節(jié)
I/O 大小(最小/最佳):512 字節(jié) / 512 字節(jié)
磁盤標簽類型:dos
磁盤標識符:0x000b2865
設(shè)備 Boot Start End Blocks Id System
/dev/sda1 * 2048 2099199 1048576 83 Linux
/dev/sda2 2099200 83886079 40893440 8e Linux LVM
/dev/sda3 83886080 146800639 31457280 83 Linux
磁盤 /dev/mapper/centos-root:39.7 GB, 39720058880 字節(jié),77578240 個扇區(qū)
Units = 扇區(qū) of 1 * 512 = 512 bytes
扇區(qū)大小(邏輯/物理):512 字節(jié) / 512 字節(jié)
I/O 大小(最小/最佳):512 字節(jié) / 512 字節(jié)
磁盤 /dev/mapper/centos-swap:2147 MB, 2147483648 字節(jié),4194304 個扇區(qū)
Units = 扇區(qū) of 1 * 512 = 512 bytes
扇區(qū)大小(邏輯/物理):512 字節(jié) / 512 字節(jié)
I/O 大小(最小/最佳):512 字節(jié) / 512 字節(jié)

5.查看卷組情況
vgdisplay
[root@master]/root$vgdisplay
--- Volume group ---
VG Name centos
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 3
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size <39.00 GiB
PE Size 4.00 MiB
Total PE 9983
Alloc PE / Size 9982 / 38.99 GiB
Free PE / Size 1 / 4.00 MiB
VG UUID gA7gBP-bdBO-SHi9-BdEm-Qv4E-kbrr-VF0AXD

此時卷組并未擴容
- 擴容虛擬卷組
1.重啟虛擬機
[root@master]/root$reboot
2.初始化新增的分區(qū)
pvcreate /dev/sda3
[root@master]/root$pvcreate /dev/sda3
Physical volume "/dev/sda3" successfully created.
3.查看卷組情況vgdisplay
[root@master]/root$vgdisplay
--- Volume group ---
VG Name centos
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 3
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size <39.00 GiB
PE Size 4.00 MiB
Total PE 9983
Alloc PE / Size 9982 / 38.99 GiB
Free PE / Size 1 / 4.00 MiB
VG UUID gA7gBP-bdBO-SHi9-BdEm-Qv4E-kbrr-VF0AXD

4.將初始化過的分區(qū)加入到虛擬卷組名
vgextend 虛擬卷組名 新增的分區(qū)
vgextend centos /dev/sda3
[root@master]/root$vgextend centos /dev/sda3
Volume group "centos" successfully extended
5.查看卷組情況
vgdisplay
[root@master]/root$vgdisplay
--- Volume group ---
VG Name centos
System ID
Format lvm2
Metadata Areas 2
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 2
Act PV 2
VG Size 68.99 GiB
PE Size 4.00 MiB
Total PE 17662
Alloc PE / Size 9982 / 38.99 GiB
Free PE / Size 7680 / 30.00 GiB
VG UUID gA7gBP-bdBO-SHi9-BdEm-Qv4E-kbrr-VF0AXD

6.擴容卷組
lvextend -L +需要擴展的容量 需要擴展的文件系統(tǒng)名
lvextend -L +29G /dev/mapper/centos-root
[root@master]/root$lvextend -L +29G /dev/mapper/centos-root
Size of logical volume centos/root changed from 36.99 GiB (9470 extents) to 65.99 GiB (16894 extents).
Logical volume centos/root successfully resized.
7.查看物理卷情況

此時卷組已經(jīng)擴容
-
擴容/文件系統(tǒng)
1.查看文件系統(tǒng)
df -h
文件系統(tǒng) 容量 已用 可用 已用% 掛載點
/dev/mapper/centos-root 37G 20G 18G 52% /
devtmpfs 1.9G 0 1.9G 0% /dev
tmpfs 1.9G 0 1.9G 0% /dev/shm
tmpfs 1.9G 12M 1.9G 1% /run
tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup
/dev/sda1 1014M 146M 869M 15% /boot
tmpfs 378M 0 378M 0% /run/user/0
此時可以看到文件系統(tǒng)并沒有擴容
2.擴容文件系統(tǒng)
resize2fs 文件系統(tǒng)名
resize2fs /dev/mapper/centos-root
[root@master]/root$ resize2fs /dev/mapper/centos-root
resize2fs 1.42.9 (28-Dec-2013)
resize2fs: Bad magic number in super-block 當嘗試打開 /dev/mapper/centos-root 時
找不到有效的文件系統(tǒng)超級塊.
這個方法是不對的,需要注意文件系統(tǒng)的格式。
resize2fs 好像適應(yīng)于ext4。
解決方案:
- 查看文件系統(tǒng)的格式
cat /etc/fstab | grep centos-root
[root@master]/root$cat /etc/fstab | grep centos-root
/dev/mapper/centos-root / xfs defaults 0 0
- 使用文件系統(tǒng)類型為xfs的命令
xfs_growfs 文件系統(tǒng)名
xfs_growfs /dev/mapper/centos-root
[root@master]/root$xfs_growfs /dev/mapper/centos-root
meta-data=/dev/mapper/centos-root isize=512 agcount=4, agsize=2424320 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0 spinodes=0
data = bsize=4096 blocks=9697280, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal bsize=4096 blocks=4735, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
data blocks changed from 9697280 to 17299456
3.再次查看文件系統(tǒng)
df -h
[root@master]/root$df -h
文件系統(tǒng) 容量 已用 可用 已用% 掛載點
/dev/mapper/centos-root 66G 20G 47G 30% /
devtmpfs 1.9G 0 1.9G 0% /dev
tmpfs 1.9G 0 1.9G 0% /dev/shm
tmpfs 1.9G 12M 1.9G 1% /run
tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup
/dev/sda1 1014M 146M 869M 15% /boot
tmpfs 378M 0 378M 0% /run/user/0





