Extension ratée de btrfs sur serveur

L'incident

Tentative avortée de rajouter les deux disques externes de 2GB dans le même "set" btrfs; lors de l'ajout du premier = OK, lors de l'ajout du 2eme = le device disparait (inaccessible).  La raison (?) serait que le l'alimentation du hub USB n'était pas connectée et la consommation des deux disques aurait dépassé la capacité du port du laptop (?).

Bref le btrfs est potentiellement corrompu.  J'ai pu enlever le device disparu (sudo btrfs device delete /dev/sdc2) mais l'autre reste lié au filesystem. Après reboot (laborieux parce qu'il a fallu passer en mode maintenance pour enlever le filesystem de fstab), les devices on évidemment changé de noms pendant que certains disques étaient offline.  Le hub USB est maintenant alimenté et tous les câbles USB y sont à nouveau connectés. Voici la situation qui semble redevenue identique:

• /dev/sda : toujours le disque HDD interne de 1GB
•  /dev/sdb: disque 4TB USB externe
• /dev/sdc : disque 2GB externe listé comme modèle "basic" par fdisk
• /dev/sdd :  nouveau USB disque externe 8TB
•  /dev/sde : disque 2GB externe, isté comme modèle "EXTERNAL_USB" par fdisk

Status LVM

OK:

luc@luc330:~$ sudo lvscan
  ACTIVE            '/dev/ubuntu-vg/ubuntu-lv' [100.00 GiB] inherit

Status btrfs filesystems

 Ils sont tous listés:

luc@luc330:~$ sudo btrfs device scan
Scanning for Btrfs filesystems
registered: /dev/sdb1
registered: /dev/sdc1
registered: /dev/sdd2
registered: /dev/sde1

Évolution

Le hardware des deux disques externes de 2TB semble compromis.  Déconnections, bruits... Je les ai déconnectés et donc réinitialisé le FS /var/backups/rsync auquel il manquait des morceaux.

Il semble que le problème pourrait venir d'une alimentation insuffisante via le port USB (certains hubs ne donnent pas assez d'ampérage?).  Une fois connecté sur un autre hub le 2e disque semble fonctionner normalement.

Autres problèmes hardware

L'ordi portable logo2022 a cramé son écran.  Encore utilisable avec un écran externe connecté en HDMI.  Il faudra prévoir son remplacement rapidement, libérant possiblement cet ordi pour réemploi futur dans un serveur sans écran.

 

Serveur rsync - nouvelle itération

SSH

Setup ssh pour accepter les connections via certificats pour utilisateur root: check

fstab

Monter /var/backups (btrfs):

 UUID="3a9c6050-51b2-4d86-b5cd-ea460a5e244e" /var/backups btrfs defaults 0 1

Mise en veille

Entre deux backups: restore du script:

luc@luc330:~$ mkdir bin
luc@luc330:~$ cp /var/backups/rsync/luc330/home/luc/bin/Suspend_if_no_backup bin
luc@luc330:~$ sudo apt install ksh
luc@luc330:~$ sudo apt install wcstools
luc@luc330:~$ sudo apt install net-tools
luc@luc330:~$ crontab -l

20 *   * * *   /home/luc/bin/Suspend_if_no_backup 39

Serveur Lenovo reinstallé - inventaire hardware

Base installée

Ubuntu server LTS avec options:

•  clavier Belge
• serveur openssh installé d'origine (sélection dans l'installateur Ubuntu)

Accès à distance: login ssh avec mdp puis copie du contenu de mon .ssh/id_rsa.pub (local) dans .ssh/authorized_keys (serveur).  A faire: quelque chose de similaire pour root (pour backups rsync)

Disques internes et connectés en USB (externes)

 luc@luc330:~$ blkid
/dev/sdd2: LABEL="multidata" UUID="3a9c6050-51b2-4d86-b5cd-ea460a5e244e" UUID_SUB="17cc16c8-9c58-4dae-8d6c-e1e2551c00a0" BLOCK_SIZE="4096" TYPE="btrfs" PARTUUID="38c88827-0ac6-4f6c-8f9f-c7a5fa3191d8"
/dev/sdd1: LABEL_FATBOOT="EFI" LABEL="EFI" UUID="67E3-17ED" BLOCK_SIZE="512" TYPE="vfat" PARTLABEL="EFI System Partition" PARTUUID="e93b9f0c-9954-4887-ac20-3f3f27bf9a93"
/dev/sdb1: UUID="a66b6bd2-4450-417b-a9d7-ea38661da852" UUID_SUB="5c7330c4-9273-43b3-8d31-c2bcba9c0be5" BLOCK_SIZE="4096" TYPE="btrfs"
/dev/mapper/ubuntu--vg-ubuntu--lv: UUID="5ceeb15b-6ff1-4831-858f-d9bcbe0a1495" BLOCK_SIZE="4096" TYPE="ext4"
/dev/sde: UUID="iqVSKl-j87Q-f4pB-4kSy-Tr9q-kyNH-RiPEuz" TYPE="LVM2_member"
/dev/sdc: UUID="BRozJc-IZpm-COTe-y4EQ-51hI-m03T-Ohq2wx" TYPE="LVM2_member"
/dev/sda2: UUID="6bafc5d8-d812-477d-af96-8f3c0dcb7fd5" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="c358e6ac-6863-4a06-b1e9-f2cd57a84a85"
/dev/sda3: UUID="U1yh9S-DHIt-BIVi-J8h8-1Gwa-zMMO-wZ4FYT" TYPE="LVM2_member" PARTUUID="a0515fe9-777a-4298-8490-df982d81f8b3"
/dev/sda1: UUID="9338-D363" BLOCK_SIZE="512" TYPE="vfat" PARTUUID="b99b566d-fa2b-44c5-81f2-0c6589eea553"

Disque interne (HD 1TB) 

Contenu: EFI, boot et / (root filesystem, système entier)

luc@luc330:~$ sudo fdisk -l /dev/sda
Disk /dev/sda: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: WDC WD10SPZX-24Z
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 39070048-E214-45DE-B5D4-1B722D7445A2

Device       Start        End    Sectors   Size Type
/dev/sda1     2048    2203647    2201600     1G EFI System
/dev/sda2  2203648    6397951    4194304     2G Linux filesystem
/dev/sda3  6397952 1953521663 1947123712 928.5G Linux filesystem

Disque externe 4TB "Intenso?"

Une seule partition, btrfs, a contenu le backup rsync avant la connection du disque 8TB.  Actuellement vide, reformatté en btrfs.

luc@luc330:~$ sudo fdisk -l /dev/sdb
Disk /dev/sdb: 3.64 TiB, 4000787030016 bytes, 976754646 sectors
Disk model: External USB 3.0
Units: sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 33550336 bytes
Disklabel type: dos
Disk identifier: 0x89dcfabb

Device     Boot Start       End   Sectors  Size Id Type
/dev/sdb1        8191 976754645 976746455  3.6T 83 Linux

Disque externe 2TB

A fait partie d'un ensemble LVM disparu utilisé à l'époque URbackup?  

luc@luc330:~$ sudo lvscan
  WARNING: Couldn't find device with uuid ewuQlA-WPFm-cmky-9ybE-ErYG-BHTy-0wY9Wh.
  WARNING: VG VGurbackup is missing PV ewuQlA-WPFm-cmky-9ybE-ErYG-BHTy-0wY9Wh (last written to /dev/sdc).
  inactive          '/dev/VGurbackup/LVurbackup' [5.00 TiB] inherit
  ACTIVE            '/dev/ubuntu-vg/ubuntu-lv' [100.00 GiB] inherit

luc@luc330:~$ sudo fdisk -l /dev/sdc
Disk /dev/sdc: 1.82 TiB, 2000398933504 bytes, 3907029167 sectors
Disk model: Basic
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disque externe 8TB

Acquisition plus récente.  Une seule partition, /dev/sdd est formatté btrfs mais indépendant du précédent (/dev/sdb)

luc@luc330:~$ sudo fdisk -l /dev/sdd
Disk /dev/sdd: 7.28 TiB, 8001563221504 bytes, 15628053167 sectors
Disk model: Expansion HDD
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 01000000-0000-0000-4E54-31374D5A4744

Device      Start         End     Sectors  Size Type
/dev/sdd1      40      409639      409600  200M EFI System
/dev/sdd2  411648 15628052479 15627640832  7.3T Linux filesystem

Autre disque externe 2TB

luc@luc330:~$ sudo fdisk -l /dev/sde
Disk /dev/sde: 1.82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: EXTERNAL_USB
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Btrfs Filesystems

Deux FS, chacun sur un  des disques externes ( 4TB et 8TB )

luc@luc330:~$ sudo btrfs device scan
Scanning for Btrfs filesystems
registered: /dev/sdd2
registered: /dev/sdb1

Panne de serveur Lenovo

Après quelques jours de bons et loyaux services avec le disque Seagate sous un nouveau btrfs, le laptop ne boote plus, même en déconnectant les disques USB.

Résultat -> installation de Ubuntu server : Ubuntu 24.04.2 LTS (GNU/Linux 6.8.0-58-generic x86_64).  La réinstallation est faite en isolation (laptop déconnecté de tout USB ou Wifi, mais connecté en DHCP sur câble ethernet).

Pas d'interface GUI donc, et il faut refaire la config ssh, rsync et fstab pour ré-inclure les disques externes.  Pour ce qui est de burp, le test était déjà abandonné au moment de la panne (les fichiers backups ne semblent pas transportables facilement vers un nouveau serveur "from scratch")

Test de "burp" backup

Installation

RAS, depuis les répos standard de Linux Mint

Configuration du serveur

pas grand chose à faire, sélection d'un chemin pour créer les backups.  J'ai pris /var/backups/burp situé sous mon nouveau btrfs sur le Seagate externe.

Configuration d'un nouveau client

- côté serveur: création d'un fichier de config par client, copie de l'exemple fourni, avec insertion d'un mot de passe spécifique au client

- côté client: 

adaptation du fichier de config avec (minimum) le mot de passe ci-dessus; et aussi révision des include/exclude qui seraient spécifiques à ce client

ajout dans le scheduler d'un appel "burp -a t" toutes les 20' : pas encore testé

 Conclusion provisoire

+ ça a l'air pas mal du tout pour client Linux.  

= Pas encore testé le client Windows.  

- Je n'aime pas trop que les fichiers des backups soient binaires plutôt que des copies du fichier source (le restore sera plus difficile qu'avec un simple rsync); à étudier pour une stratégie bare metal restore

New removable USB disk on backup server

Hardware install and test

grab a new power outlet, find a free USB port, connect both cables as needed (no reboot, PC was up and running)

fdisk /dev/sdc: leave partition 1 (UEFI) alone, but change the type of partition 2 to Linux.  Then build the initial filesystem:

sudo mkfs.btrfs -L multidata -f /dev/sdc2

Temporary mount

blkid doesn't show /dev/sdc2 but the value was displayed in the output of the mkfs command to tried mounting with a temporary fstab entry:

UUID=3a9c6050-51b2-4d86-b5cd-ea460a5e244e /mnt  btrfs   defaults 0 2

Reorganized fstab to mount the old FS under the mountpoint of the new one:

UUID=3a9c6050-51b2-4d86-b5cd-ea460a5e244e /var/backups  btrfs   defaults 0 2
UUID=a66b6bd2-4450-417b-a9d7-ea38661da852 /var/backups/rsync btrfs defaults 1 2

Empty the "old" volume

Created /var/backups/rsyncnew and moved all /var/backup/rsync/* into /var/backup/rsyncnew in the new disk (that took quite a while).

The intention is to destroy the btrfs on the "old" disk then add the device to the new btrfs

En préparation d'une possible réinstallation de kid3

luc@kid3:~$ cat /etc/fstab | egrep -v ^#

/dev/mapper/vgmint-root /               ext4    errors=remount-ro 0       1

UUID=B171-94DD  /boot/efi       vfat    umask=0077      0       1

/dev/mapper/vgmint-swap_1 none            swap    sw              0       0

UUID=a66b6bd2-4450-417b-a9d7-ea38661da852 /var/backups/rsync btrfs auto,nofail 1 1