33800 Docs

← Retour

Proposition : Modification hardware PVE

Date : 06/02/2026 Statut : TERMINE (07/02/2026)


Objectif

Modifier le hardware du serveur PVE pour :

  1. Retirer 2 SSDs (Samsung 1TB + Crucial BX500 2TB)
  2. Retirer la carte WiFi/Bluetooth (Intel 8260)
  3. Retirer la carte HBA LSI SAS2308 (9207-8i)
  4. Brancher les 6 disques restants sur les ports SATA de la carte mere
  5. Installer la RTX 2070 Super
  6. Activer le controleur SATA onboard dans le BIOS

Etat actuel

Disques sur le HBA (8/8 ports utilises)

/dev Modele Taille Role Action
sda Crucial BX500 2TB 1.8T Inutilise RETIRER
sdb LDLC 480G 477G Passthrough VM 201 (by-id) Garder
sdc PNY CS900 480G 447G Boot PVE (LVM pve) Garder
sdd Samsung 870 QVO 1TB 932G Inutilise RETIRER
sde Seagate ST4000DM004 3.6T ZFS stock_8to (raidz1) Garder
sdf Seagate ST4000DX001 3.6T ZFS stock_8to (raidz1) Garder
sdg Seagate ST4000DM005 3.6T ZFS stock_8to (raidz1) Garder
sdh Crucial MX500 500G 466G LVM vm-ssd (VM 201 boot) Garder

Disques USB (inchanges)

/dev Modele Taille Role
sdi-sdm 5x HGST 12TB 54.5T ZFS stock_36to (raidz2)

Slots PCIe actuels

Slot Type Occupant
1 (PCIEX16_1) x16 long RTX 3090
2 (PCIEX1_1) x1 court vide
3 (PCIEX16_2) x16 long vide
4 (PCIEX16_3) x16 long LSI SAS2308 → A RETIRER
5 (PCIEX1_2) x1 court Intel WiFi 8260 → A RETIRER
6 (PCIEX16_4) x16 long Intel 10GbE SFP+

Slots PCIe apres modification

Slot Type Occupant Bande passante
1 x16 long RTX 3090 (inchange) x16 Gen3 CPU
2 x1 court vide -
3 x16 long vide -
4 x16 long RTX 2070 Super (nouveau) x8 Gen3 CPU (~8 Go/s)
5 x1 court vide -
6 x16 long Intel 10GbE SFP+ (inchange) x4 PCH

Pourquoi x8 pour le slot 4 ? L'ASUS X99-A distribue les 40 lanes PCIe du Xeon E5 v4 en 16+16+8 pour les 3 slots CPU (slots 1, 3, 4). Le slot 4 (PCIEX16_3) est cable en x8 electrique meme s'il est physiquement x16. Les 16 lanes du slot 3 ne sont pas redistribuables. x8 Gen3 = ~8 Go/s, largement suffisant pour l'IA.


Ports SATA carte mere

L'ASUS X99-A/USB 3.1 avec chipset C610/X99 dispose de :

Total : 10 ports SATA disponibles pour 6 disques a brancher → largement suffisant.

Debit : SATA III 6 Gbps = identique au SAS-2 6 Gbps du HBA → aucune perte de performance.


Procedure

Phase 1 : Preparation logicielle (AVANT extinction)

VM 202 : deja supprimee (qm destroy 202 --purge effectue le 06/02/2026).

1.1 Exporter le pool ZFS stock_8to

# Verifie qu'aucune VM/service n'utilise stock_8to
zpool status stock_8to
# Export propre (detache le pool)
zpool export stock_8to

stock_36to (USB) n'est pas concerne car les disques USB ne bougent pas.

1.2 Snapshot des identifiants (releve le 06/02/2026)

Disques qui restent (6) :

by-id Modele Taille Role
ata-LDLC_15032016B1492 LDLC 477G Passthrough VM 201
ata-PNY_CS900_480GB_SSD_PNY02182236770300FA2 PNY CS900 447G Boot PVE (LVM pve, partition 3)
ata-ST4000DM004-2CV104_ZFN16SB5 Seagate 3.6T ZFS stock_8to
ata-ST4000DM005-2DP166_ZDH0FJP5 Seagate 3.6T ZFS stock_8to
ata-ST4000DX001-1CE168_Z307QK00 Seagate 3.6T ZFS stock_8to
ata-CT500MX500SSD1_2202E5FC09D1 Crucial MX500 466G LVM vm-ssd (VM 201 boot)

LVM :

VG PV Taille Free Contenu
pve /dev/sdc3 446G 16G root (96G), swap (8G), data thin pool (320G)
vm-ssd /dev/sdh 466G 23G data thin pool (442G) → VM 201 disks

Points de securite verifies :

1.3 Verifier que GRUB utilise des UUID (pas /dev/sdX)

cat /etc/fstab         # Doit reference /dev/pve/root, pas /dev/sdX
cat /etc/default/grub  # Verifier GRUB_CMDLINE_LINUX

1.4 Eteindre proprement

# Arreter les 3 VMs sur PVE
qm shutdown 201  # Windows11-Gaming
qm shutdown 207  # prod-portainer
qm shutdown 107  # nginx
# Attendre que tout soit arrete
qm list
# Eteindre PVE
shutdown -h now

Phase 2 : Modifications physiques

  1. Debrancher le serveur du courant
  2. Retirer les 2 SSDs :
    • Samsung 870 QVO 1TB (sdd)
    • Crucial BX500 2TB (sda)
  3. Debrancher les 6 cables SATA/SAS du HBA pour les 6 disques restants
  4. Retirer la carte LSI SAS2308 (slot 4)
  5. Retirer la carte Intel WiFi 8260 (slot 5)
  6. Brancher les 6 disques sur les ports SATA de la carte mere (n'importe quel port, l'ordre n'a pas d'importance)
  7. Installer la RTX 2070 Super dans le slot 4

ATTENTION cables : les cables SAS breakout (mini-SAS → 4x SATA) du HBA sont compatibles avec les ports SATA de la carte mere. Tu peux reutiliser les memes cables cote disque. Cote carte mere, il faut des connecteurs SATA standard (7 pins). Si tes cables actuels sont des mini-SAS cote controleur, il te faut 6 cables SATA standard.

Phase 3 : Configuration BIOS

  1. Demarrer et entrer dans le BIOS (touche DEL)
  2. Activer le controleur SATA onboard :
    • Aller dans Advanced > PCH Storage Configuration
    • Mettre SATA Controller sur Enabled
    • Mode : AHCI (pas RAID)
  3. Verifier que les 6 disques sont detectes dans le BIOS
  4. Verifier l'ordre de boot : le PNY CS900 (boot PVE) doit etre premier
  5. Sauvegarder et redemarrer

Phase 4 : Verification post-boot

4.1 PVE demarre ?

4.2 Verifier les disques

lsblk -o NAME,SIZE,MODEL,SERIAL,TRAN -d
# Tous les disques doivent apparaitre avec TRAN=sata
# Les /dev/sdX auront change → c'est NORMAL

4.3 Verifier LVM

pvs   # Le PV du PNY CS900 doit etre la
vgs   # VG pve et vm-ssd doivent etre actifs
lvs   # Tous les LV doivent etre la

4.4 Reimporter stock_8to

# Scanner et importer
zpool import
# Doit lister stock_8to comme disponible
zpool import stock_8to
# Verifier
zpool status stock_8to

4.5 Verifier stock_36to (USB, inchange)

zpool status stock_36to

4.6 Verifier la VM 201

# Le passthrough LDLC utilise by-id → ne devrait pas etre affecte
cat /etc/pve/qemu-server/201.conf | grep scsi
# scsi3: /dev/disk/by-id/ata-LDLC_15032016B1492 → OK

4.7 Demarrer les VMs

qm start 107   # nginx (reverse proxy, demarrer en premier)
qm start 207   # prod-portainer (services Docker)
# Attendre que les services soient up
qm start 201   # Windows11-Gaming (apres verification)

Phase 5 : Configuration RTX 2070 Super

5.1 Identifier la carte

lspci | grep -i nvidia
# Devrait montrer 2 GPUs : RTX 3090 (01:00) et RTX 2070 Super (nouveau bus)

5.2 Verifier le groupe IOMMU

# Trouver le groupe IOMMU de la 2070
for d in /sys/kernel/iommu_groups/*/devices/*; do
  n=$(basename $d); g=$(basename $(dirname $(dirname $d)))
  echo "IOMMU Group $g: $(lspci -nns $n)"
done | grep -i nvidia

5.3 Ajouter au passthrough VM 201

# Remplacer XX:00 par l'adresse PCI reelle de la 2070
qm set 201 -hostpci2 XX:00,pcie=1

5.4 Configurer vfio-pci pour la 2070

# Ajouter l'ID PCI de la 2070 Super au vfio
# ID typique : 10de:1e84 (RTX 2070 Super)
# Verifier avec : lspci -nn | grep 2070
echo "options vfio-pci ids=XXXX:XXXX" >> /etc/modprobe.d/vfio.conf
update-initramfs -u

La RTX 3090 est deja en passthrough (hostpci0: 01:00). La 2070 sera ajoutee en hostpci2.


Rollback si GRUB ne boot pas

  1. Booter sur une cle USB PVE (mode rescue)
  2. Monter le LVM :
    vgchange -ay pve
    mount /dev/pve/root /mnt
    mount /dev/pve/swap /mnt/boot/efi  # si EFI
  3. Chroot et reinstaller GRUB :
    mount --bind /dev /mnt/dev
    mount --bind /proc /mnt/proc
    mount --bind /sys /mnt/sys
    chroot /mnt
    update-grub
    grub-install /dev/sdX  # X = le PNY CS900
    exit
    reboot

Materiel necessaire


Resume des risques

Risque Probabilite Impact Mitigation
GRUB ne boot pas Faible Bloquant Cle USB rescue + grub-install
LVM non trouve Tres faible Bloquant LVM scan par UUID
ZFS stock_8to non trouve Nulle si export fait Bloquant zpool export avant, import apres
Cables incompatibles Moyenne Bloquant Verifier/acheter cables SATA
RTX 2070 pas detectee Faible Non-bloquant Verifier slot + alimentation

Checklist rapide