Serveur rsync - nouvelle itération

SSH

Setup ssh pour accepter les connections via certificats pour utilisateur root: check

fstab

Monter /var/backups (btrfs):

 UUID="3a9c6050-51b2-4d86-b5cd-ea460a5e244e" /var/backups btrfs defaults 0 1

Mise en veille

Entre deux backups: restore du script:

luc@luc330:~$ mkdir bin
luc@luc330:~$ cp /var/backups/rsync/luc330/home/luc/bin/Suspend_if_no_backup bin
luc@luc330:~$ sudo apt install ksh
luc@luc330:~$ sudo apt install wcstools
luc@luc330:~$ sudo apt install net-tools
luc@luc330:~$ crontab -l

20 *   * * *   /home/luc/bin/Suspend_if_no_backup 39

Serveur Lenovo reinstallé - inventaire hardware

Base installée

Ubuntu server LTS avec options:

•  clavier Belge
• serveur openssh installé d'origine (sélection dans l'installateur Ubuntu)

Accès à distance: login ssh avec mdp puis copie du contenu de mon .ssh/id_rsa.pub (local) dans .ssh/authorized_keys (serveur).  A faire: quelque chose de similaire pour root (pour backups rsync)

Disques internes et connectés en USB (externes)

 luc@luc330:~$ blkid
/dev/sdd2: LABEL="multidata" UUID="3a9c6050-51b2-4d86-b5cd-ea460a5e244e" UUID_SUB="17cc16c8-9c58-4dae-8d6c-e1e2551c00a0" BLOCK_SIZE="4096" TYPE="btrfs" PARTUUID="38c88827-0ac6-4f6c-8f9f-c7a5fa3191d8"
/dev/sdd1: LABEL_FATBOOT="EFI" LABEL="EFI" UUID="67E3-17ED" BLOCK_SIZE="512" TYPE="vfat" PARTLABEL="EFI System Partition" PARTUUID="e93b9f0c-9954-4887-ac20-3f3f27bf9a93"
/dev/sdb1: UUID="a66b6bd2-4450-417b-a9d7-ea38661da852" UUID_SUB="5c7330c4-9273-43b3-8d31-c2bcba9c0be5" BLOCK_SIZE="4096" TYPE="btrfs"
/dev/mapper/ubuntu--vg-ubuntu--lv: UUID="5ceeb15b-6ff1-4831-858f-d9bcbe0a1495" BLOCK_SIZE="4096" TYPE="ext4"
/dev/sde: UUID="iqVSKl-j87Q-f4pB-4kSy-Tr9q-kyNH-RiPEuz" TYPE="LVM2_member"
/dev/sdc: UUID="BRozJc-IZpm-COTe-y4EQ-51hI-m03T-Ohq2wx" TYPE="LVM2_member"
/dev/sda2: UUID="6bafc5d8-d812-477d-af96-8f3c0dcb7fd5" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="c358e6ac-6863-4a06-b1e9-f2cd57a84a85"
/dev/sda3: UUID="U1yh9S-DHIt-BIVi-J8h8-1Gwa-zMMO-wZ4FYT" TYPE="LVM2_member" PARTUUID="a0515fe9-777a-4298-8490-df982d81f8b3"
/dev/sda1: UUID="9338-D363" BLOCK_SIZE="512" TYPE="vfat" PARTUUID="b99b566d-fa2b-44c5-81f2-0c6589eea553"

Disque interne (HD 1TB) 

Contenu: EFI, boot et / (root filesystem, système entier)

luc@luc330:~$ sudo fdisk -l /dev/sda
Disk /dev/sda: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: WDC WD10SPZX-24Z
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 39070048-E214-45DE-B5D4-1B722D7445A2

Device       Start        End    Sectors   Size Type
/dev/sda1     2048    2203647    2201600     1G EFI System
/dev/sda2  2203648    6397951    4194304     2G Linux filesystem
/dev/sda3  6397952 1953521663 1947123712 928.5G Linux filesystem

Disque externe 4TB "Intenso?"

Une seule partition, btrfs, a contenu le backup rsync avant la connection du disque 8TB.  Actuellement vide, reformatté en btrfs.

luc@luc330:~$ sudo fdisk -l /dev/sdb
Disk /dev/sdb: 3.64 TiB, 4000787030016 bytes, 976754646 sectors
Disk model: External USB 3.0
Units: sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 33550336 bytes
Disklabel type: dos
Disk identifier: 0x89dcfabb

Device     Boot Start       End   Sectors  Size Id Type
/dev/sdb1        8191 976754645 976746455  3.6T 83 Linux

Disque externe 2TB

A fait partie d'un ensemble LVM disparu utilisé à l'époque URbackup?  

luc@luc330:~$ sudo lvscan
  WARNING: Couldn't find device with uuid ewuQlA-WPFm-cmky-9ybE-ErYG-BHTy-0wY9Wh.
  WARNING: VG VGurbackup is missing PV ewuQlA-WPFm-cmky-9ybE-ErYG-BHTy-0wY9Wh (last written to /dev/sdc).
  inactive          '/dev/VGurbackup/LVurbackup' [5.00 TiB] inherit
  ACTIVE            '/dev/ubuntu-vg/ubuntu-lv' [100.00 GiB] inherit

luc@luc330:~$ sudo fdisk -l /dev/sdc
Disk /dev/sdc: 1.82 TiB, 2000398933504 bytes, 3907029167 sectors
Disk model: Basic
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Disque externe 8TB

Acquisition plus récente.  Une seule partition, /dev/sdd est formatté btrfs mais indépendant du précédent (/dev/sdb)

luc@luc330:~$ sudo fdisk -l /dev/sdd
Disk /dev/sdd: 7.28 TiB, 8001563221504 bytes, 15628053167 sectors
Disk model: Expansion HDD
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 01000000-0000-0000-4E54-31374D5A4744

Device      Start         End     Sectors  Size Type
/dev/sdd1      40      409639      409600  200M EFI System
/dev/sdd2  411648 15628052479 15627640832  7.3T Linux filesystem

Autre disque externe 2TB

luc@luc330:~$ sudo fdisk -l /dev/sde
Disk /dev/sde: 1.82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: EXTERNAL_USB
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Btrfs Filesystems

Deux FS, chacun sur un  des disques externes ( 4TB et 8TB )

luc@luc330:~$ sudo btrfs device scan
Scanning for Btrfs filesystems
registered: /dev/sdd2
registered: /dev/sdb1

Panne de serveur Lenovo

Après quelques jours de bons et loyaux services avec le disque Seagate sous un nouveau btrfs, le laptop ne boote plus, même en déconnectant les disques USB.

Résultat -> installation de Ubuntu server : Ubuntu 24.04.2 LTS (GNU/Linux 6.8.0-58-generic x86_64).  La réinstallation est faite en isolation (laptop déconnecté de tout USB ou Wifi, mais connecté en DHCP sur câble ethernet).

Pas d'interface GUI donc, et il faut refaire la config ssh, rsync et fstab pour ré-inclure les disques externes.  Pour ce qui est de burp, le test était déjà abandonné au moment de la panne (les fichiers backups ne semblent pas transportables facilement vers un nouveau serveur "from scratch")

Test de "burp" backup

Installation

RAS, depuis les répos standard de Linux Mint

Configuration du serveur

pas grand chose à faire, sélection d'un chemin pour créer les backups.  J'ai pris /var/backups/burp situé sous mon nouveau btrfs sur le Seagate externe.

Configuration d'un nouveau client

- côté serveur: création d'un fichier de config par client, copie de l'exemple fourni, avec insertion d'un mot de passe spécifique au client

- côté client: 

adaptation du fichier de config avec (minimum) le mot de passe ci-dessus; et aussi révision des include/exclude qui seraient spécifiques à ce client

ajout dans le scheduler d'un appel "burp -a t" toutes les 20' : pas encore testé

 Conclusion provisoire

+ ça a l'air pas mal du tout pour client Linux.  

= Pas encore testé le client Windows.  

- Je n'aime pas trop que les fichiers des backups soient binaires plutôt que des copies du fichier source (le restore sera plus difficile qu'avec un simple rsync); à étudier pour une stratégie bare metal restore

New removable USB disk on backup server

Hardware install and test

grab a new power outlet, find a free USB port, connect both cables as needed (no reboot, PC was up and running)

fdisk /dev/sdc: leave partition 1 (UEFI) alone, but change the type of partition 2 to Linux.  Then build the initial filesystem:

sudo mkfs.btrfs -L multidata -f /dev/sdc2

Temporary mount

blkid doesn't show /dev/sdc2 but the value was displayed in the output of the mkfs command to tried mounting with a temporary fstab entry:

UUID=3a9c6050-51b2-4d86-b5cd-ea460a5e244e /mnt  btrfs   defaults 0 2

Reorganized fstab to mount the old FS under the mountpoint of the new one:

UUID=3a9c6050-51b2-4d86-b5cd-ea460a5e244e /var/backups  btrfs   defaults 0 2
UUID=a66b6bd2-4450-417b-a9d7-ea38661da852 /var/backups/rsync btrfs defaults 1 2

Empty the "old" volume

Created /var/backups/rsyncnew and moved all /var/backup/rsync/* into /var/backup/rsyncnew in the new disk (that took quite a while).

The intention is to destroy the btrfs on the "old" disk then add the device to the new btrfs

En préparation d'une possible réinstallation de kid3

luc@kid3:~$ cat /etc/fstab | egrep -v ^#

/dev/mapper/vgmint-root /               ext4    errors=remount-ro 0       1

UUID=B171-94DD  /boot/efi       vfat    umask=0077      0       1

/dev/mapper/vgmint-swap_1 none            swap    sw              0       0

UUID=a66b6bd2-4450-417b-a9d7-ea38661da852 /var/backups/rsync btrfs auto,nofail 1 1

USB NICs speed test

N'ayant pas de connection Ethernet sur mon laptop actuel, j'ai collectionné plusieurs NICs bon marché à connecter sur des ports USB.  J'utilise aussi le Wifi si la connection RJ45 n'est pas disponible.  Voici le résultat de quelques tests:

Wi-Fi connecté sur point d'accès résidentiel secondaire

$ speedtest-cli --secure

Retrieving speedtest.net configuration...

Testing from Proximus (91.176.105.211)...

Retrieving speedtest.net server list...

Selecting best server based on ping...

Hosted by KamaTera, Inc. (Amsterdam) [214.64 km]: 23.444 ms

Testing download speed................................................................................

Download: 74.57 Mbit/s

Testing upload speed......................................................................................................

Upload: 27.97 Mbit/s

Port Ethernet sur station d'accueil connectée en USB-C (sans marque)

$ speedtest-cli --secure

Retrieving speedtest.net configuration...

Testing from Proximus (91.176.105.211)...

Retrieving speedtest.net server list...

Selecting best server based on ping...

Hosted by Eranium B.V. (Amsterdam) [214.64 km]: 18.667 ms

Testing download speed................................................................................

Download: 87.92 Mbit/s

Testing upload speed......................................................................................................

Upload: 29.87 Mbit/s

NIC USB-C "USB 3.0 Gigabit Lan"

Marque "GLAABIT".

Cet équipement rajoute une ligne dans le résultat de la commande "lsusb":

ID 0bda:8153 Realtek Semiconductor Corp. RTL8153 Gigabit Ethernet Adapter

$ speedtest-cli --secure

Retrieving speedtest.net configuration...

Testing from Proximus (91.176.105.211)...

Retrieving speedtest.net server list...

Selecting best server based on ping...

Hosted by Eranium B.V. (Amsterdam) [214.64 km]: 18.74 ms

Testing download speed................................................................................

Download: 87.39 Mbit/s

Testing upload speed......................................................................................................

Upload: 29.06 Mbit/s

NIC USB-C "UNI"

Cet équipement rajoute une ligne dans le résultat de la commande "lsusb":

ID 0bda:8153 Realtek Semiconductor Corp. RTL8153 Gigabit Ethernet Adapter

$ speedtest-cli --secure

Retrieving speedtest.net configuration...

Testing from Proximus (91.176.105.211)...

Retrieving speedtest.net server list...

Selecting best server based on ping...

Hosted by Eranium B.V. (Amsterdam) [214.64 km]: 18.232 ms

Testing download speed................................................................................

Download: 86.98 Mbit/s

Testing upload speed......................................................................................................

Upload: 29.86 Mbit/s

Conclusions

Résultat de ces quelques tests: le Wifi est un peu plus lent, mais tous les NICs accessoires donnent des performances à peine meilleures.  Ils sont très proches les uns des autres ce qui ne surprend pas puisqu'ils semblent basés sur le même chip RTL8153.  

NB: Ces tests sont basés sur la localisation du laptop dans mon home office, séparé du routeur Internet par un ou deux switches et points d'accès Wifi.  Ces équipements intermédiaires ont eux aussi sans doute une influence pas forcément neutre sur les résultats.  Toutes les connections USB-C passaient par la station d'accueil sans marque dont les résultats sont mentionnés juste après le Wifi.  En effet, le laptop n'a qu'un seul port USB-C et cette station l'utilise quasiment en permanence; donc les NICs étaient branchés indirectement via cette station d'accueil.  Tout ceci correspond à l'usage habituel que je fais de ce laptop pour le connecter au réseau.