Emile "iMil" Heitor 's home

Le NAS dont je vous entretenais recemment, comme un bon NAS qu’il est, effectue beaucoup de traffic sur le réseau privé d’hébergement. Il sert et il leeche à tout va; Or, ce gentil petit équipement est muni de deux cartes réseau Gigabit, et a la bonne idée d’être branché sur un switch lui aussi Gigabit… hmmm… et si ?

Et si.

Le switch en question ET l’OS en question, OpenSolaris, implémentent le protocole LACP (Link Aggregation Control Protocol), ou 802.3ad.

Ce protocole permet :

• d’augmenter la capacité du lien
• le failover
• le load balancing

Il serait dommage de s’en priver.

Coté Solaris, on désactive nwam (j’aime pas les trucs “automagic”) et on prépare l’interface d’aggregation :

# svcadm disable nwam
# cd /etc
# echo "192.168.0.2/24" > hostname.aggr1
# echo "192.168.0.254" > defaultrouter
# chmod u+w inet/hosts
# echo "192.168.0.2 machine.domaine.tld" >> inet/hosts
# cat > resolv.conf < < EOF
domainname domaine.tld
nameserver 192.168.0.1
EOF
# cp nsswitch.dns nsswitch.conf
# svcadm enable network/physical:default

On unplumb les deux interfaces réseau :

# ifconfig igb0 unplumb
# ifconfig igb1 unplumb
# ifconfig -a # verification que les interfaces sont bien descendues
lo0: flags=2001000849 mtu 8232 index 1
        inet 127.0.0.1 netmask ff000000 
lo0: flags=2002000849 mtu 8252 index 1
        inet6 ::1/128 

Puis on crée l’interface aggrégée à l’aide de dladm :

# dladm create-aggr -d igb0 -d igb1 1
# ifconfig aggr1 plumb 192.168.0.2 netmask 255.255.255.0 up
# ifconfig -a # verification de l'activité du lien
lo0: flags=2001000849 mtu 8232 index 1
        inet 127.0.0.1 netmask ff000000 
aggr1: flags=1000843 mtu 1500 index 2
        inet 192.168.0.2 netmask ffffff00 broadcast 192.168.0.255
        ether 0:24:81:a9:ab:10 
lo0: flags=2002000849 mtu 8252 index 1
        inet6 ::1/128 

Ça a l’air pas mal.

Coté switch maintenant. On déclare un lien EtherChannel (qui supporte le protocole LACP) auquel on affecte un identifiant :

interface port-channel 1

Puis on “attache” les ports 1 et 2 du switch à ce lien aggrégé :

interface range ethernet g(1-2)
channel-group 1 mode auto

C’est tout.

L’interface EtherChannel ainsi configurée est manipulable comme un port classique du switch, on peut donc par exemple l’affecter à un VLAN de cette façon :

interface port-channel 1                    
switchport access vlan 3

C’est prêêêt !

Vous pouvez désormais épater vos amis en débranchant l’un ou l’autre des RJ45 alors que vous sauvegardez des documentations multimedia à haute teneur informatives.

Au boulot, j’ai mis en place un NAS. À force de lire les louanges de ZFS, je me suis dit que c’était l’occasion idéale d’utiliser réellement ses capacités, et plus simplement comme “le filesystem de Solaris/OpenSolaris”.

Nous sommes partis de l’hypothèse suivante :

• Nous utiliserons les fonctions RAID de ZFS, et non pas le RAID5 natif fourni par le controlleur du serveur de disques; en effet, après moult lectures, il apparait que le mode RAID-Z de ZFS est non seulement plus flexible, plus rapide, mais également plus sur (voir par exemple ici ou ici)
• La partition de boot/root fonctionnera, elle, en mode mirror et sera disponible sur tous les disques
• Le reste de la place disponible formera un pool raidz. Nous aurions pu choisir raidz2, mais ce dernier nous aurait coûté de l’espace en moins.

Le serveur que nous utilisons pour ce setup comporte une carte HP de type Smart Array g6, dont le firmware ne permet pas de mode JBOD, aussi, chaque disque formera une unité logique RAID0.

Les disques ont une taille de 1To; le système occuppant moins de 10Go, nous spécifions à l’installation que nous ne souhaitons utiliser “que” 30Go pour le système, le reste sera affecté au raidz.

Une fois OpenSolaris installé sur le disque logique numero 1, nous mettons en place le mirroring sur chaque unité logique. Pour ce faire, nous allons préparer un premier disque à l’aide de la commande format puis dupliquer la table de partitions du disque 1 sur ce second disque à l’aide des commandes prtvtoc et fmthard :

# format
Searching for disks...done


AVAILABLE DISK SELECTIONS:
       0. c8t0d0 
          /pci@0,0/pci8086,340a@3/pci103c,3241@0/sd@0,0
       1. c8t1d0 
          /pci@0,0/pci8086,340a@3/pci103c,3241@0/sd@1,0
       2. c8t2d0 
          /pci@0,0/pci8086,340a@3/pci103c,3241@0/sd@2,0
       3. c8t3d0 
          /pci@0,0/pci8086,340a@3/pci103c,3241@0/sd@3,0
       4. c8t4d0 
          /pci@0,0/pci8086,340a@3/pci103c,3241@0/sd@4,0
       5. c8t5d0 
          /pci@0,0/pci8086,340a@3/pci103c,3241@0/sd@5,0

Specify disk (enter its number): 1
selecting c8t1d0
[disk formatted]
No Solaris fdisk partition found

FORMAT MENU:
        disk       - select a disk
        type       - select (define) a disk type
        partition  - select (define) a partition table
        current    - describe the current disk
        format     - format and analyze the disk
        fdisk      - run the fdisk program
        repair     - repair a defective sector
        label      - write label to the disk
        analyze    - surface analysis
        defect     - defect list management
        backup     - search for backup labels
        verify     - read and display labels
        save       - save new disk/partition definitions
        inquiry    - show vendor, product and revision
        volname    - set 8-character volume name
        !     - execute , then return
        quit
format> fdisk
No fdisk table exists. The default partition for the disk is:

  a 100% "SOLARIS System" partition

Type "y" to accept the default partition, otherwise type "n" to edit the partition table.
y
format> quit

# prtvtoc /dev/rdsk/c8t0d0s2 |fmthard -s - /dev/rdsk/c8t1d0s2

Pour rappel, le slice numero 2 (s2) représente l’intégralité du disque.

Intervient à cet instant une astuce particulière relative à notre setup. J’ai dit plus haut que nous avons pris le parti de mirrorer la partition système sur tous les disques, cela signifie que sur chacun d’eux, nous devons disposer de deux slices, or, le disque numero 1, en cours d’utilisation, ne peut être manipulé de la sorte. Nous allons donc :

• Créer un deuxième slice sur le second disque
• Intégrer le slice 1 du second disque au pool système
• Détacher le disque 1 du pool système
• Effacer le slice système du disque numero 1
• Re-formatter le disque numero 1
• Importer la table de partition du disque 2 vers le disque 1

# format
[...]
Specify disk (enter its number): 1
format> partition
[...]
partition> 3
Part      Tag    Flag     Cylinders         Size            Blocks
  3 unassigned    wu       0                0         (0/0/0)              0

Enter partition id tag[unassigned]: 
Enter partition permission flags[wu]: wm
Enter new starting cyl[0]: 1955
Enter partition size[0b, 0c, 0e, 0.0mb, 0.0gb]: 900gb
partition> label
partition> quit
format> quit

Notez que la valeur du cylindre de départ est égale au prochain cylindre disponible. Dans notre cas, le dernier cylindre de la partition système était 1954.

On attache le 1er slice du second disque à rpool

# zpool attach -f rpool c8t0d0s0 c8t1d0s0

On attend que le mirroring soit effectué (quelques secondes), puis on détache le premier disque :

# zpool detach rpool c8t0d0s0

On détruit maintenant le partitionnement du disque 1

# format
[...]
Specify disk (enter its number): 0
[...]
format> fdisk
             Total disk size is 60798 cylinders
             Cylinder size is 32130 (512 byte) blocks

                                               Cylinders
      Partition   Status    Type          Start   End   Length    %
      =========   ======    ============  =====   ===   ======   ===
          1       Active    Solaris2          1  60797    60797    100





SELECT ONE OF THE FOLLOWING:
   1. Create a partition
   2. Specify the active partition
   3. Delete a partition
   4. Change between Solaris and Solaris2 Partition IDs
   5. Exit (update disk configuration and exit)
   6. Cancel (exit without updating disk configuration)
Enter Selection:
fdisk> 3
[...]
Specify the partition number to delete (or enter 0 to exit): 1
fdisk> 1
[...]
Indicate the type of partition you want to create
  1=SOLARIS2   2=UNIX        3=PCIXOS     4=Other
  5=DOS12      6=DOS16       7=DOSEXT     8=DOSBIG
  9=DOS16LBA   A=x86 Boot    B=Diagnostic C=FAT32
  D=FAT32LBA   E=DOSEXTLBA   F=EFI        0=Exit? 1

Specify the percentage of disk to use for this partition
(or type "c" to specify the size in cylinders). 100

Should this to become the active partition? If yes, it will be
activated each time the computer is reset or turned on.
Please type "y" or "n". y

Enter Selection: 5

On exporte la table de partitions du disque 2 vers le disque 1

# prtvtoc /dev/rdsk/c8t1d0s2 |fmthard -s - /dev/rdsk/c8t0d0s2

Puis on rattache le slice 1 du disque 1 à rpool :

# zpool attach -f rpool c8t0d0s0 c8t1d0s0

Voila !

Nous pouvons maintenant préparer et importer la table des partitions sur les disques suivants grâce au même combo utilisé pour le disque 2 (format>fdisk, prtvtoc et fmthard).
Ainsi, il est maintenant possible d’attacher l’ensemble de nos slices au pool système :

zpool attach -f rpool c8t0d0s0 c8t2d0s0
zpool attach -f rpool c8t0d0s0 c8t3d0s0
etc...

Une fois ceci effectué, il est indispensable d’installer grub sur l’ensemble des disques, de façon que notre NAS puisse booter indifféremment sur n’importe lequel.

# installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c8t0d0s0
# installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c8t1d0s0
# installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c8t2d0s0
etc...

On constate le succès de l’opération grâce à la commande zpool :

# zpool status
  pool: rpool
 state: ONLINE
 scrub: resilver completed after 0h6m with 0 errors on Fri Apr  9 16:27:03 2010
config:

        NAME          STATE     READ WRITE CKSUM
        rpool         ONLINE       0     0     0
          mirror      ONLINE       0     0     0
            c8t1d0s0  ONLINE       0     0     0
            c8t2d0s0  ONLINE       0     0     0
            c8t0d0s0  ONLINE       0     0     0
            c8t3d0s0  ONLINE       0     0     0  6.10G resilvered
            c8t4d0s0  ONLINE       0     0     0  6.10G resilvered
            c8t5d0s0  ONLINE       0     0     0  6.10G resilvered

errors: No known data errors

Désormais, tous nos disques disposent également d’un second slice, s3, qui sera lui affecté à un pool raidz, nous effectuons l’opération de cette façon :

# zpool create -f omnomnom raidz c8t0d0s3 c8t1d0s3 c8t2d0s3 c8t3d0s3 c8t4d0s3 c8t5d0s3

Ce qui nous donne :

# zpool status
  pool: omnomnom
 state: ONLINE
 scrub: none requested
config:

        NAME          STATE     READ WRITE CKSUM
        omnomnom        ONLINE       0     0     0
          raidz1      ONLINE       0     0     0
            c8t0d0s3  ONLINE       0     0     0
            c8t1d0s3  ONLINE       0     0     0
            c8t2d0s3  ONLINE       0     0     0
            c8t3d0s3  ONLINE       0     0     0
            c8t4d0s3  ONLINE       0     0     0
            c8t5d0s3  ONLINE       0     0     0

errors: No known data errors

  pool: rpool
 state: ONLINE
 scrub: resilver completed after 0h6m with 0 errors on Fri Apr  9 16:27:03 2010
config:

        NAME          STATE     READ WRITE CKSUM
        rpool         ONLINE       0     0     0
          mirror      ONLINE       0     0     0
            c8t1d0s0  ONLINE       0     0     0
            c8t2d0s0  ONLINE       0     0     0
            c8t0d0s0  ONLINE       0     0     0
            c8t3d0s0  ONLINE       0     0     0  6.10G resilvered
            c8t4d0s0  ONLINE       0     0     0  6.10G resilvered
            c8t5d0s0  ONLINE       0     0     0  6.10G resilvered

errors: No known data errors

On peut dès lors utiliser les commandes ZFS pour créer un filesystem sur notre pool raidz :

# zfs create omnomnom/backup

Placer un quota :

# zfs set quota=3.5T omnomnom/backup

Ou encore exporter un autre système de fichiers en NFS :

# zfs set sharenfs=on omnomnom/share

Trop dur.

Un petit df pour la route :

# df -h
Filesystem            Size  Used Avail Use% Mounted on
rpool/ROOT/opensolaris
                       24G  2.9G   21G  13% /
swap                  7.2G  332K  7.2G   1% /etc/svc/volatile
/usr/lib/libc/libc_hwcap1.so.1
                       24G  2.9G   21G  13% /lib/libc.so.1
swap                  7.2G  8.0K  7.2G   1% /tmp
swap                  7.2G   52K  7.2G   1% /var/run
rpool/export           21G   21K   21G   1% /export
rpool/export/home      21G   29K   21G   1% /export/home
rpool/export/home/imil
                       21G  862K   21G   1% /export/home/imil
rpool                  21G   78K   21G   1% /rpool
omnomnom                4.3T   35K  4.3T   1% /omnomnom
omnomnom/backup         3.5T   32K  3.5T   1% /omnomnom/backup
omnomnom/share          4.3T   32K  4.3T   1% /omnomnom/share

Merci à nico pour ses nombreux conseils.

Pkgin 0.3.0 voit -enfin- le jour. Pas de changements fondamentaux dans le code de gestion d’install/upgrade mais plutot une tripotée de petits fixes issus d’utilisateurs-hackers autour du globe. Dans le désordre :

. Basculement vers autoconf pour la génération du Makefile
. Correction du bug d’affichage en console
. Pas mal de fixes autour de la standardisation des variables
. Le lookup du pkg_summary en bz2 ou gz est désormais automatique
. Gros ménage des conditions pour opensolaris
. substitution de variables dans repositories.conf ($arch et $osrelease)
. De traditionnels bugfixes
. Portage -encore un peu hors des clous- pour SunOS 5.8

Le soft est disponible sur pkgsrc-wip et si aucune plainte n’apparait, je mettrai à jour pkgsrc.

À vos torture tests !

Pkgsrc sur OpenSolaris, c’est bien, mais des packages compilés en 64 bits avec Sun Studio, c’est quand même la grosse classe. Et parmi eux pkgin, evidemment :)

Malheureusement, ce n’est pas une opération spécialement bien documentée, et surtout, elle nécessite une modification (en tout cas à ce jour) de mk/compilers/sunpro.mk.

J’utiliserai /opt comme base pour l’installation du framework car cela semble être l’usage pour tous les utilisateurs chevronnés du binôme Solaris/pkgsrc.

Je suppose dans le reste de ce post que la machine cible est 64 bits-capable et que le package sunstudio12u1 est installé via pkg.

Tout d’abord, on checkout pkgsrc de manière tout à fait classique :

imil@geonosis:/opt$ pfexec cvs -d anoncvs@anoncvs.fr.netbsd.org:/cvsroot co pkgsrc

On modifie ensuite le fichier mk/compilers/sunpro.mk, à partir de la ligne 88 :

# SunPro compiler must be passed certain flags to compile/link 64-bit code.
#.if !empty(CC_VERSION:M5.9) 
_COMPILER_ABI_FLAG.64= -m64
#.elif ${MACHINE_ARCH} == "sparc"
#_COMPILER_ABI_FLAG.64= -xtarget=ultra -xarch=v9
#.else
#_COMPILER_ABI_FLAG.64= -xarch=amd64
#.endif

Puis on bootstrap pkgsrc de cette façon :

imil@geonosis:/opt/pkgsrc/bootstrap$ CC=/opt/sunstudio12.1/bin/cc pfexec ./bootstrap --prefix=/opt/pkg --abi=64

Le fichier /opt/pkg/etc/mk.conf sera renseigné avec les valeurs qui ont servi à bootstraper pkgsrc.

On vérifie l’exactitude de l’opération simplement :

imil@geonosis:/opt/pkgsrc/bootstrap$ file /opt/pkg/bin/bmake 
/opt/pkg/bin/bmake:     ELF 64-bit LSB executable AMD64 Version 1 [SSE2 SSE FXSR CMOV FPU], dynamically linked, stripped

poh poh poh, ça claque ou bien.

Petite astuce, ça evitera de chercher trop loin. J’ai constaté que, par defaut, mon desktop OpenSolaris ne parvenait pas à lister le contenu d’un serveur NFS situé sur une Debian GNU/Linux testing.

Quelques recherches m’ont conduit sur ce thread ou l’on comprend que l’implémentation de NFSv4 n’est pas encore totalement synchro entre Linux et Solaris. Ainsi, il suffit de modifier la valeur de NFS_CLIENT_VERSMAX dans le fichier /etc/default/nfs sur le client OpenSolaris de cette façon :

NFS_CLIENT_VERSMAX=3

Pour forcer l’utilisation de NFSv3, moyennant quoi, j’accède désormais sans problème à mes documentations multimédia à haute teneur informatives.

Parce que cela sera plus pratique, parce que ça fait un bail que j’y ai pas retouché, parce qu’il y a certaines technos que j’ai envie de vraiment manipuler et parce que j’aime bien varier les plaisirs, j’ai installé un desktop sous OpenSolaris 2009.06.

L’installation étant devenue aussi triviale qu’une bête Ubuntu, je ne m’étendrai pas ici sur cet aspect.

Il y a cependant un élément qui m’a donné du fil à retordre, un truc qui m’agace toujours autant, quel que soit l’UNIX, les locales et prises de tête connexes.

Pour plein de raisons toutes aussi subjectives qu’historiques, aucune de mes machines n’utilise UTF-8, et d’habitude, je place simplement LANG=en_US.ISO8859-15 ainsi que LC_CTYPE=fr_FR.ISO8859-15. Première astuce, sous OpenSolaris, il est nécessaire de renseigner la variable LANG dans /etc/default/init. LC_CTYPE trouvera sa place dans un ${HOME}/.bashrc ou équivalent.

À ce stade, alpine et irssi affichent correctement les caractères accentués.

Arrive alors la configuration du clavier, que j’ai pour habitude de mapper en qwerty, laissant à la touche Compose (AltGr chez moi) le soin d’accentuer les caractères. Généralement, je fais cela à l’aide de ces lignes dans mon fichier /etc/X11/xorg.conf :

	Option "XkbRules"   "xorg"
	Option "XkbModel"   "pc105"
	Option "XkbLayout"  "us"
	Option "XkbOptions" "compose:ralt"

Ce qui a pour effet de permettre le fonctionnement suivant :

Frappe simultanée de AltGr + ‘ puis e donne é

Sauf que cette fois, sur le X11/gnome fourni par Sun, cette combinaison donne ‘é (avec l’apostrophe devant). Très enervant.
J’écume une liste infinie de forums, documents, wikis et j’en passe, sans réellement trouver de solution, et finalement, en désespoir de cause, modifie dans gnome-terminal la valeur de Input Method, me rendant compte qu’avec la valeur Simple, le comportement que je souhaite se produit.

N’étant pas exactement à l’aise avec ce nouveau desktop, je ne me lancerai pas en conjectures infondées, mais à la lecture de plusieurs posts, je crois comprendre qu’il faut démarrer scim (Smart Common Input Method) sans la session gnome, et placer les valeurs suivantes dans le fichier ${HOME}/.profile qui sera lu par gdm :

export GTK_IM_MODULE=scim
export QT_IM_MODULE=scim

Moyennant quoi: àéüí

phew, ça marche.

J’aborde le problème de manière tout à fait empirique et je n’aime pas ça, mais je crois comprendre qu’un autre Input Method manager est installé par defaut, iiim. J’ai préféré le desinstaller ($ pfexec pkg uninstall SUNWiiim*) afin de ne pas générer de conflits.

Probablement ai-je mal cherché, mais si un lecteur averti possède quelques pointeurs sur la question, je serai ravi de comprendre réellement comment fonctionne tout ce petit monde.

update

ah, oui, le screenshot.