Cours Linux et Virtualbox

• Démarré un cours d'introduction Linux (enfin, après 30 ans de pratique)
• Installé virtualbox-qt depuis le dépot linux-mint
• Installé une distro Ubuntu dans une nouvelle VM 

Test rsnapshot

 installation via apt (sur le serveur de backup)

configuration ssh pour autoriser le serveur à se connecter à ma station de travail via clés 

configuration via /etc/rsnapshot.conf (réutilisation du "gros" disque btrfs créé pour rsync)

config_version  1.2
snapshot_root   /var/backups/rsync
cmd_cp          /bin/cp
cmd_rm          /bin/rm
cmd_rsync       /usr/bin/rsync
cmd_ssh /usr/bin/ssh
cmd_logger      /usr/bin/logger
cmd_du          /usr/bin/du
retain  alpha   6
retain  beta    7
retain  gamma   4
verbose         2
loglevel        3
logfile /var/log/rsnapshot.log
lockfile        /var/run/rsnapshot.pid
one_fs          1
exclude '.cache'
exclude 'cache'
exclude 'Cache'
exclude 'CacheStorage'
exclude 'Code Cache'
exclude 'google-chrome'
exclude '.mozilla'
exclude 'tmp'
exclude 'Trash'
exclude '.viking-maps'
sync_first      1
backup  root@luc-e15302:/etc/   luc-e15302/etc
backup  root@luc-e15302:/home/  luc-e15302/home
backup  root@luc-e15302:/home/Sea       luc-e15302/home/Sea
backup  /home/          localhost/
backup  /etc/           localhost/

Ensuite: 

1. sudo rsnapshot configtest
2. sudo rsnapshot sync

Problèmes btrfs - boot en maintenance pour commenter l'entrée avant POR reboot

luc@luc330:~$ sudo fdisk -l /dev/sdb
Disk /dev/sdb: 7.28 TiB, 8001563221504 bytes, 15628053167 sectors
Disk model: Expansion HDD
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 01000000-0000-0000-4E54-31374D5A4744

Device      Start         End     Sectors  Size Type
/dev/sdb1      40      409639      409600  200M EFI System
/dev/sdb2  411648 15628052479 15627640832  7.3T Linux filesystem
 

luc@luc330:~$ sudo btrfsck /dev/sdb2
Opening filesystem to check...
Checking filesystem on /dev/sdb2
UUID: f244899d-a9c4-4fec-a7f6-f0762b21b7eb
[1/7] checking root items
[2/7] checking extents
[3/7] checking free space tree
[4/7] checking fs roots
[5/7] checking only csums items (without verifying data)
[6/7] checking root refs
[7/7] checking quota groups skipped (not enabled on this FS)
found 2427800559616 bytes used, no error found
total csum bytes: 2368075928
total tree bytes: 2890809344
total fs tree bytes: 394608640
total extent tree bytes: 62603264
btree space waste bytes: 120864360
file data blocks allocated: 2424909750272
 referenced 2424909750272

...

fsck looks fine, so uncomment btrfs entry in fstab

...

luc@luc330:~$ sudo mount /dev/sdb2
mount: (hint) your fstab has been modified, but systemd still uses
       the old version; use 'systemctl daemon-reload' to reload.
luc@luc330:~$ df -h
Filesystem                         Size  Used Avail Use% Mounted on
tmpfs                              1.2G  1.5M  1.2G   1% /run
efivarfs                           148K   93K   51K  65% /sys/firmware/efi/efivars
/dev/mapper/ubuntu--vg-ubuntu--lv   98G  9.0G   84G  10% /
tmpfs                              5.7G     0  5.7G   0% /dev/shm
tmpfs                              5.0M     0  5.0M   0% /run/lock
/dev/mapper/vgHome-lvHome          3.0T  640K  2.9T   1% /home
/dev/sda2                          2.0G  198M  1.6G  11% /boot
/dev/sda1                          1.1G  6.2M  1.1G   1% /boot/efi
tmpfs                              1.2G   12K  1.2G   1% /run/user/1000
/dev/sdb2                          7.3T  2.3T  5.1T  31% /var/backups/rsync

To-do applications

 Je voudrais une application qui gère ma todo list.  Il y en a des centaines disponibles certes mais comme j'ai dans mes projets de nombreuses tâches répétitives avec toujours les mêmes sous-tâches, je voudrais pouvoir créer les nouvelles tâches sur base d'un modèle, ou d'une tâche déjà existante dans l'application.  En effet je serai vite fatigué s'il faut à chaque fois copier non seulement la tâche mais aussi la demi-douzaine de sous-tâches qui sont à chaque fois les mêmes (seul le titre de la tâche principale devrait changer).

 J'ai testé les suivantes:

Google Tasks

Ne semble permettre ni les modèles ni la copie de tâches existantes. 

Errands

Permet un copy / paste de tâches mais seule la tâche est copiée, pas les sous-tâches 

Planify

Excellent, dans le menu "3 point" de chaque tâche et sous-tâche, il y a une commande "Duplicate" qui recopie l'objet (y compris les sous-tâches) et il n'y a plus qu'à changer le titre.  La DB semble être une SQLite. Bon candidat.

Vikunja

Semble puissant et multi-user.  Too much pour mes requirements.  Éliminé.

Adventure List

Peu joué avec, ne semble pas avoir de moyen facile de copier/dupliquer une liste de tâches.  Puis en voulant le relancer plus tard, il plante.  Éliminé.

Komodo

Basé sur todo.txt ce que je ne connais pas.  Peu intuitif pour moi, à revoir

Progress

Pas vu de possibilité de copier/dupliquer.  Éliminé.

Tasks

Ne se lance pas, ou bien plante au démarrage?

Sleek

Un autre basé sur todo.txt.  Pas vu de possibilité pour des sous-tâches ce qui me paraît étonnant mais bon.

Endeavour

Un autre basé sur todo.txt.  Pas vu de possibilité pour des sous-tâches.  Éliminé.

2dtaskboard

Pas vu de possibilité pour copier une ligne (tâche).  Éliminé.

nestful

Pas vu de possibilité pour copier une ligne (tâche).  Éliminé.

focal

Pas vu de possibilité pour copier une tâche top-level (ou autre).  Éliminé.

lonewolf

Pas vu de possibilité pour copier une ligne top-level du kanban.  Éliminé.

Ptask

N'aime pas la version de taskwarrior installée.  Mais en a besoin.  Éliminé.

Conclusion

Le seul survivant semble être Planify. 

luc330 backup server laptop

Situation des disques

luc@luc330:~$ sudo fdisk -l
Disk /dev/sda: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: WDC WD10SPZX-24Z
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 39070048-E214-45DE-B5D4-1B722D7445A2

Device       Start        End    Sectors   Size Type
/dev/sda1     2048    2203647    2201600     1G EFI System
/dev/sda2  2203648    6397951    4194304     2G Linux filesystem
/dev/sda3  6397952 1953521663 1947123712 928.5G Linux filesystem


Disk /dev/mapper/ubuntu--vg-ubuntu--lv: 100 GiB, 107374182400 bytes, 209715200 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/sdb: 7.28 TiB, 8001563221504 bytes, 15628053167 sectors
Disk model: Expansion HDD
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 01000000-0000-0000-4E54-31374D5A4744

Device      Start         End     Sectors  Size Type
/dev/sdb1      40      409639      409600  200M EFI System
/dev/sdb2  411648 15628052479 15627640832  7.3T Linux filesystem


Disk /dev/sdc: 3.64 TiB, 4000787030016 bytes, 976754646 sectors
Disk model: External USB 3.0
Units: sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 33550336 bytes
Disklabel type: dos
Disk identifier: 0x89dcfabb

Device     Boot Start       End   Sectors  Size Id Type
/dev/sdc1        8191 976754645 976746455  3.6T 83 Linux

 

Utilisation des disques

luc@luc330:~$ df -lm | grep ^/dev
/dev/mapper/ubuntu--vg-ubuntu--lv    100221   11211     83875  12% /
/dev/sda2                              1946     193      1635  11% /boot
/dev/sda1                              1073       7      1067   1% /boot/efi
/dev/sdb2                           7630684 2271655   5358698  30% /var/backups/rsync

Vérification des systèmes de fichiers

luc@luc330:~$ sudo umount /dev/sdb2
luc@luc330:~$ sudo btrfs check /dev/sdb2
Opening filesystem to check...
Checking filesystem on /dev/sdb2
UUID: f244899d-a9c4-4fec-a7f6-f0762b21b7eb
[1/7] checking root items
[2/7] checking extents

[3/7] checking free space tree
[4/7] checking fs roots
[5/7] checking only csums items (without verifying data)
[6/7] checking root refs
[7/7] checking quota groups skipped (not enabled on this FS)
found 2378677673984 bytes used, no error found
total csum bytes: 2320204984
total tree bytes: 2787770368
total fs tree bytes: 349306880
total extent tree bytes: 59326464
btree space waste bytes: 105155488
file data blocks allocated: 2375889903616
 referenced 2375889903616
luc@luc330:~$ sudo mount -a

Préparation de l'usage du disque externe 4 TB

 luc@luc330:~$ sudo pvcreate /dev/sdc
  Cannot use /dev/sdc: device is partitioned
luc@luc330:~$ sudo mount /dev/sdc1 /mnt
luc@luc330:~$ ls /mnt
luc@luc330:~$ df -lm /dev/sdc1
Filesystem     1M-blocks  Used Available Use% Mounted on
/dev/sdc1        3815416     6   3813351   1% /mnt
luc@luc330:~$ sudo umount /dev/sdc1
luc@luc330:~$ sudo fdisk /dev/sdc

Welcome to fdisk (util-linux 2.39.3).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.


Command (m for help): d
Selected partition 1
Partition 1 has been deleted.

Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

luc@luc330:~$ sudo pvcreate /dev/sdc
WARNING: dos signature detected on /dev/sdc at offset 510. Wipe it? [y/n]: y
  Wiping dos signature on /dev/sdc.
  Physical volume "/dev/sdc" successfully created.
luc@luc330:~$ sudo vgcreate vgHome /dev/sdc
  Volume group "vgHome" successfully created
luc@luc330:~$ sudo lvcreate -L 3T -n lvHome vgHome
WARNING: btrfs signature detected on /dev/vgHome/lvHome at offset 65600. Wipe it? [y/n]: y
  Wiping btrfs signature on /dev/vgHome/lvHome.
  Logical volume "lvHome" created.
luc@luc330:~$ sudo mkfs.ext4 /dev/vgHome/lvHome
mke2fs 1.47.0 (5-Feb-2023)
Creating filesystem with 805306368 4k blocks and 201326592 inodes
Filesystem UUID: d070149d-7779-4709-b95c-820cd677a350
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848, 512000000, 550731776, 644972544

Allocating group tables: done
Writing inode tables: done
Creating journal (262144 blocks): done
Writing superblocks and filesystem accounting information: done

luc@luc330:~$ sudo mount /dev/

Extension ratée de btrfs sur serveur

L'incident

Tentative avortée de rajouter les deux disques externes de 2GB dans le même "set" btrfs; lors de l'ajout du premier = OK, lors de l'ajout du 2eme = le device disparait (inaccessible).  La raison (?) serait que le l'alimentation du hub USB n'était pas connectée et la consommation des deux disques aurait dépassé la capacité du port du laptop (?).

Bref le btrfs est potentiellement corrompu.  J'ai pu enlever le device disparu (sudo btrfs device delete /dev/sdc2) mais l'autre reste lié au filesystem. Après reboot (laborieux parce qu'il a fallu passer en mode maintenance pour enlever le filesystem de fstab), les devices on évidemment changé de noms pendant que certains disques étaient offline.  Le hub USB est maintenant alimenté et tous les câbles USB y sont à nouveau connectés. Voici la situation qui semble redevenue identique:

• /dev/sda : toujours le disque HDD interne de 1GB
•  /dev/sdb: disque 4TB USB externe
• /dev/sdc : disque 2GB externe listé comme modèle "basic" par fdisk
• /dev/sdd :  nouveau USB disque externe 8TB
•  /dev/sde : disque 2GB externe, isté comme modèle "EXTERNAL_USB" par fdisk

Status LVM

OK:

luc@luc330:~$ sudo lvscan
  ACTIVE            '/dev/ubuntu-vg/ubuntu-lv' [100.00 GiB] inherit

Status btrfs filesystems

 Ils sont tous listés:

luc@luc330:~$ sudo btrfs device scan
Scanning for Btrfs filesystems
registered: /dev/sdb1
registered: /dev/sdc1
registered: /dev/sdd2
registered: /dev/sde1

Évolution

Le hardware des deux disques externes de 2TB semble compromis.  Déconnections, bruits... Je les ai déconnectés et donc réinitialisé le FS /var/backups/rsync auquel il manquait des morceaux.

Il semble que le problème pourrait venir d'une alimentation insuffisante via le port USB (certains hubs ne donnent pas assez d'ampérage?).  Une fois connecté sur un autre hub le 2e disque semble fonctionner normalement.

Autres problèmes hardware

L'ordi portable logo2022 a cramé son écran.  Encore utilisable avec un écran externe connecté en HDMI.  Il faudra prévoir son remplacement rapidement, libérant possiblement cet ordi pour réemploi futur dans un serveur sans écran.

 

Serveur rsync - nouvelle itération

SSH

Setup ssh pour accepter les connections via certificats pour utilisateur root: check

fstab

Monter /var/backups (btrfs):

 UUID="3a9c6050-51b2-4d86-b5cd-ea460a5e244e" /var/backups btrfs defaults 0 1

Mise en veille

Entre deux backups: restore du script:

luc@luc330:~$ mkdir bin
luc@luc330:~$ cp /var/backups/rsync/luc330/home/luc/bin/Suspend_if_no_backup bin
luc@luc330:~$ sudo apt install ksh
luc@luc330:~$ sudo apt install wcstools
luc@luc330:~$ sudo apt install net-tools
luc@luc330:~$ crontab -l

20 *   * * *   /home/luc/bin/Suspend_if_no_backup 39