PVE常用使用问题
PVE储存方式
默认情况下，pve使用lvm作为储存方式。安装时将硬盘划分出boot、uefi分区后，第三个分区创建vg。
默认情况下会创建一个名为root的lv作为系统的根分区，大小为整个磁盘空间的25%，还用来保存系统镜像和虚拟机的快照；一个名为data的lvm-thin分区，作为虚拟机的磁盘。但实际这个默认值用起来不是舒服，最好根据自己的需要进行设置。
我安装了一些常用的软件后，pve系统分区使用量约9G。如果像我一样，把快照和系统镜像都保存在nas上，root分区划分20G就完全够了。否则给快照和系统镜像留额外的空间。考虑到给虚拟机保存多个快照，这种情况root分区可能要比data分区更大。
名为data的lvm-thin分区用来保存虚拟机磁盘。pve的虚拟机磁盘和常见的vmware等不同，不是保存为文件而是直接以raw的形式保存在lvm-thin区中划分。
在安装系统时，在选择磁盘的步骤，点击option可以进行设置。选项分别为hdsize，swapsize、maxroot、maxvz、minfree等。通过这些选项，可以控制root分区大小等。
如果已经安装好了又想调整分区大小，可以考虑重装系统。因为lvm分区只能扩容不能缩减容量。而重装系统操作也不太麻烦，只需要把所有虚拟机通过拍快照的方式备份到别的磁盘，然后在新系统上还原即可。
此外，pve还支持使用zfs等方式进行储存。这部分详细内容可查阅官方文档。
邮箱地址
在pve安装时需要输入邮箱地址。这个不是摆设，是一个很好用的功能。
pve已经配置好了邮件相关的服务，只要你在安装时填写好正确的地址，pve会在需要时给你发送邮件。
目前我收到过两类邮件，一个是系统警告，比如磁盘SMART警告；另一个是在执行cron任务时，会将失败的任务发送邮件，包括自己配置的cron任务。
不过这个发送邮件的方式似乎是通过本机直接发送到对方服务器。也就是说发邮件不需要你提供一个账号密码供其使用，也就没有一个通过认证的邮件服务器发送。按说这是容易被拒收的。不过本人使用的126邮箱地址可以正常收到。
更换软件源
pve默认配置的是需要付费的企业源，我们这些白嫖的无法使用，需要配置成免费源。
此外，国外软件源的速度很慢，因此我们更换为清华大学开源软件镜像站（TUNA）的pve和debian源。
在shell中（web界面即有shell）（如果不会操作shell随便找找入门教程）
- 注释掉
/etc/apt/sources.list.d/pve-enterprise.list中的内容。 - 通过命令
echo "deb https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian buster pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
添加TUNA的pve免费源。
- 通过命令
echo "# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free" > /etc/apt/sources.list
将更换debian源。
（以上命令基于PVE 6，which 基于debian 10（buster））
开启IOMMU
如果想直通PCIE设备的，比如显卡、sas卡等，需要开启IOMMU。
编辑文件/etc/default/grub，对于intel的CPU，将GRUB_CMDLINE_LINUX_DEFAULT所在行添加intel_iommu=on，结果：
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
对于AMD的cpu，将GRUB_CMDLINE_LINUX_DEFAULT所在行添加amd_iommu=on，结果：
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"
然后执行
update-grub
然后重启。
将这些内容添加进/etc/modules
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
直通GPU可能还需要进一步操作。详见官方文档。
虚拟机安装
有几个点提一下。
如果使用UEFI，需要给虚拟机添加一个EFI disk，否则可能安装成功后无法启动等奇怪的问题。
虚拟机类型可选q35和i440fx，q35比i440fx更新，支持pcie等。默认为i440fx。
CPU类型默认为kvm64，这种类型便于迁移，但性能一般，且缺少cpu功能（如aes）。建议选择host。
硬盘直通
硬盘直通可以把整个一块硬盘提供给虚拟机使用（如果不这么做，往往是在物理硬盘上创建一个虚拟硬盘文件，提供给虚拟机用）。硬盘直通可以让虚拟机更直接地使用硬盘，对于nas等场景通常使用直通。
然而网上很多所谓的pve硬盘直通其实是磁盘映射。
硬盘映射网上有很多文档，不再赘述。记录/dev/disk/disk下的信息，然后通过qm set 100 -sata1 /dev/disk/by-id/ata-WDC_XXXX_XXXX_XXXX设置那个就是。
真正直通往往是将硬盘控制器直通，这样虚拟机对硬盘的控制才是完整的。方法为在图形界面中使用pci passthrough，直通sas卡或者板载sata控制器。
虚拟硬盘的操作
下面讲个利用命令行完成的稍高级的操作：借助Linux的工具非常方便地操作虚拟磁盘。
比如openwrt不是通过iso文件安装系统，而是下载得到的就是raw磁盘文件。这时可以通过形如dd if=openwrt.img of=/dev/mapper/pve-vm-xx来直接写入，即完成安装，不需要工具转换、导入等。
还可以还可以通过kpartx和mount，把虚拟磁盘挂载到宿主机下从而读写其中的文件。