Ce soft à l’utilisation simplissime permet en un tournemain de réaliser des opérations complexes en masse sur une architecture distante en utilisant le protocole SSH.

Si la documentation de la plupart des fonctions est clarissime, l’une d’entre elles, qui pourtant me semblait avoir un fort potentiel loutresque, n’était pas très clairement exposée: upload_template.
Cette fonction, comme son nom semble l’indiquer, permet d’envoyer sur un serveur distant un fichier “template” en ayant préalablement remplacé des variables par le contenu souhaité. Après un peu de lecture du code source de fabric, la subtilité de son utilisation m’est apparue.

Voici à quoi doit ressembler un fichier template, j’utilise ici l’exemple classique d’un /etc/network/interfaces à remplir avec les valeurs adéquates :

auto lo
iface lo inet loopback

auto %(iface)s
iface %(iface)s inet static
	address %(ipaddress)s
	netmask %(netmask)s
	gateway %(gateway)s

Ces variables utilisent les string interpolation formatting de python, que l’on renseigne à l’aide d’un dict de cette façon :

netinfo  = {
                'iface': 'eth0',
                'ipaddress': '10.20.30.40',
                'netmask': '255.255.255.0',
                'gateway': '10.20.30.254'
}

Et que l’on inclut finalement dans la fameuse fonction upload_template de cette façon :

        upload_template('etc/network/interfaces', '/etc/network/interfaces', context=netinfo, use_sudo=True)

Moyennant quoi, fabric enverra le fichier template sur sa destination puis remplacera les variables par leur valeurs définies dans le dict passé en paramètre.

Sysop, ne révèle pas à tes employeurs que tu construis aujourd’hui ta glande de demain.

+  {
+    char *args[2];
+    args[0] = "-v";
+    args[1] = 0;
+    SaveAction(ktab + '|', RC_SPLIT, args, 0);
+  }

Et effectivement, la directive split -v réalise exactement ce que je souhaitais. Finalement, pour obtenir ceci :

Il faut utiliser la syntaxe suivante dans votre screenrc :

split
split -v
focus bottom
split -v

Petit screenshot :

Sur le client :

imil@tatooine:~$ cat bin/netcat-proxy-command
#!/bin/sh
bouncehost=$1
target=$2
port=$3

ssh $bouncehost nc -w 1 $target $port

nc devra evidemment etre installé sur le serveur de rebond (ici, le dom0).
Voici enfin un exemple de .ssh/config :

host cible.gcu.info
Hostname 192.168.0.1
HostKeyAlias cible.gcu.info
UserKnownHostsFile /dev/null
StrictHostKeyChecking no
ProxyCommand bin/netcat-proxy-command rebond.gcu.info %h 2222

Moyennant quoi :

$ ssh cible.gcu.info
Warning: Permanently added 'cible.gcu.info' (RSA) to the list of known hosts.
Enter passphrase for key '/home/imil/.ssh/id_dsa':
NetBSD 4.0 (GENERIC.NOACPI) #0: Sun Dec 16 00:56:55 PST 2007

Welcome to NetBSD!

imil@cible:~$ ifconfig ne2|grep inet\\
        inet 192.168.0.1 netmask 0xffffff00 broadcast 192.168.0.255

Pour bruler mes CDs audio, j’utilise gnomebaker. Il est pratique, rapide, intuitif, et il fonctionne. Ce dernier est capable d’enregistrer des “projets”, qui correspondent en l’occurrence à un fichier XML contenant les informations sur la playlist que vous allez graver.

J’avais pas envie de coder un truc, j’ai donc opté pour du scripting de feignant. La première brique s’appelle xmlstarlet, un outil command line qui permet de manipuler du XML. Un petit coup de sed | nl permettra de mettre un peu d’ordre.
Enfin, Nous ferons appel à ImageMagick et plus particulièrement convert pour générer une image avec cette sortie. Ce qui nous donne :

#!/bin/sh

SIZE="800x600"
FONTSIZE="14"

COVER=`xmlstarlet sel -t -m "//file" -v "@path" -n $1 | sed -r 's,.*/(.+)\\.mp3,\\1\\n,'|nl -n ln -w 3 -s'- '`

convert -size ${SIZE} -stroke black -pointsize ${FONTSIZE} -draw "text 5,20 \\"$COVER\\"" xc:white output.png

Y’a plus qu’à tuner un peu.

On déclare le serveur TLS :

$SERVER["socket"] == "mon.host.magique:443" {
  ssl.engine = "enable"
  ssl.pemfile = "/etc/ssl/certs/lighttpd.pem"
  server.document-root = "/vers/www/magique"
  server.name = "mon.host.magique"
  auth.backend.htpasswd.userfile = "/path/vers/lighttpd-htpasswd.user"
  auth.require = ( "/" =>
    (
       "method" => "basic",
       "realm" => "ce ne sont pas ces droïdes que vous recherchez.",
       "require" => "valid-user"
    )
  )
}

Puis la redirection, tout ce qui arrive sur le port 80 du host “mon.host.magique” sera redirigé vers son équivalent en HTTPS. On note les regexps compatibles Perl qui nous permettent de récupérer l’URL complète.

$SERVER["socket"] == "mon.host.magique:80" {
  $HTTP["host"] == "mon.host.magique" {
    url.redirect = ( "^/(.*)" => "https://mon.host.magique/$1" )
    server.name = "mon.host.magique"
  }
}

Et enfin les restrictions gentilles, on n’applique pas de restrictions à host1.host.magique, unautre.host.magique et blip.host.magique car ils ont leur propre déclaration dans le fichier lighttpd.conf. Pour le reste, seuls la racine, le repertoire public ainsi que les fichiers .php et .jpg sont autorisés.

$HTTP["host"] !~ "(host1|unautre|blip).host.magique" {
  server.document-root = "/var/ou/c/est/mignon"
  $HTTP["url"] !~ "(^/$|^/public|php$|jpg$)" { url.access-deny = ( "" ) }
}

C’est quand même un peu bien.

J’ai déjà parlé et probablement pasté ici même un petit script gentil qui, grâce au couple rsync / rsyncd, permettait de rendre cette opération relativement rapide assez simplement. J’y ai apporté quelques modifs et enrobé le tout d’un chouillat de sécu. Un chouillat j’ai dit, trépigne pas spoty.

Le kimloli est un FreeBSD 6.2, j’y installe rsync via les ports.
Le backup est fait sur une bête workstation Ubuntu, chez moi. J’y installe rsync via apt-get.

Voici les differentes étapes que j’ai suivi pour préparer mon rsyncd sur ma machine à backuper :

Activation du rsync dans inetd :

# grep rsync /etc/inetd.conf
# backup
rsync           stream  tcp     nowait  root    /usr/local/bin/rsync rsyncd --daemon --config=/usr/local/etc/rsyncd.conf

Interdiction d’y accéder d’ailleurs que de ma ligne DSL qui dispose d’une IP fixe :

ALL : localhost ip.publique.dsl : allow
rsync : ALL : deny

Configuration du demon rsync

pid file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log

uid = root
gid = wheel
use chroot = no
max connections = 1
syslog facility = local5

[homes]
        path = /home
        comment = Homes
	# seul utilisateur autorisé
        auth users = bkp
        secrets file = /usr/local/etc/rsyncd.secrets
        hosts allow = ip.publique.dsl
[usr_local]
        path = /usr/local
        comment = usr local directories
        auth users = bkp
        secrets file = /usr/local/etc/rsyncd.secrets
        hosts allow = ip.publique.dsl

Créaction du très simple fichier d’authentification /usr/local/etc/rsyncd.secrets :

bkp:mangemoitoute

Activation de inetd au démarrage :

# grep inetd /etc/rc.conf
inetd_enable="YES"

Et on démarre tout ce petit monde :

# /etc/rc.d/inetd start

La conf serveur est prête. Coté client, je vous propose ce script :

#!/bin/sh

# Simple rsync client script
# if "console" is specified, verbose output and --delete are implied
# iMil 

RSYNC="/usr/bin/rsync"

usage()
{
        echo "usage: $0    "
        exit 1
}

if [ $# != 4 ]
then
        usage
fi

HOST=$2
FROM=$3
TO=$4
EXCLUDE="/home/bkp/rsync.exclude"
SECRET="/home/bkp/rsync.secret"
USER="bkp"

OPTIONS="--compress -a --recursive --times --perms --links"

if [ -f ${EXCLUDE} ]; then
        OPTIONS="${OPTIONS} --exclude-from=${EXCLUDE}"
fi
if [ -f ${SECRET} ]; then
        OPTIONS="${OPTIONS} --password-file=${SECRET}"
fi

case $1 in
        console)
                CONSOLE="--verbose --progress --stats --delete"
                ;;
        cron)
                CONSOLE=""
                ;;
        *)
                usage
                ;;
esac

CMD="${RSYNC} ${CONSOLE} ${OPTIONS} ${USER}@${HOST}::${FROM} ${TO}/${FROM}"

echo running: ${CMD}

eval ${CMD}

On crée le fichier /home/bkp/rsync.secret qui contiendra UNIQUEMENT le mot de passe précisé dans le fichier secret du serveur, puis /home/bkp/rsync.exclude qui est composé de la liste des fichiers et repertoires à exclude, par exemple :

/home/ftp
/home/mirror
*access_log
*error_log

On teste en console :

bin/bkp.sh console kimloli212 usr_local /home/bkp/kimloli

Et si tout va bien, on cron :

0 2 * * * /home/bkp/bin/bkp.sh cron kimloli212 homes /home/bkp/kimloli

Joyeux backups

Tu as, sur ta machine chez toi, démarré une application graphique qui n’a pas de pendant console et tu es curieux de savoir à combien de poucents en est le… la… COMPILATION. Ta machine est bien evidemment située derrière une gate quelconque dont la seule particularité est de disposer d’un access ssh accessible.

“Damn foukine shit”, te dis-tu, “Ca va etre une tannée pas croyable”

Que nenni

Solution (qui suppose que tu as un VNC server qui tourne sur ta workstation) :

sur la machine client

$ ssh -L 2222:gate:22 -L 2223:workstation:22 gate cat -
^Z
$ bg
$ cat .ssh/config
host workstation
hostname 127.0.0.1
port 2223
$ vncpasswd
$ vncviewer -via workstation workstation:0


woohoo !
tin… 23%… ca avance pas.

Non seulement ce qui est ecrit ci dessous est faux mais en plus ca ne marche absolument pas.
En réalité il suffisait de spécifier à la classe w de chercher tous les attributs sendmailMTAClassName=w dans l’arbre, soit :

define(`confCW_FILE', `@ldap: -k sendmailMTAClassName=w -v sendmailMTACLassValue')

dans le fichier .mc

C’est pris à la volée et ca marche impeccablement bien.

P’tit tip en passant, pour verifier tes local-host-names :

echo '$=w' | sendmail -bt


Je me demandais pourquoi donc après avoir ajouté des hosts dans la classe sendmailMTAClassName=w (équivalent de local-host-names), les mails à destination de ces derniers étaient refusés / non relayés si je ne restartais pas sendmail. En fait, et c’est très ennuyeux, il faut effectivement restarter sendmail pour que la classe w soit reloadée. MAIS ASTUCE ! je viens également d’apprendre ici qu’on peut elegamment remplacer le fichier classique des domaines locaux par une entrée dans la mailertable et dans l’access.db pour authoriser son relay. En LDAP ca nous donne :

# mailer, sendmail, gcu.info.dotpure.net
dn: sendmailMTAMapName=mailer,ou=sendmail,dc=gcu.info,dc=dotpure,dc=net
objectClass: top
objectClass: sendmailMTA
objectClass: sendmailMTAMap
objectClass: sendmailMTAMapObject
sendmailMTACluster: dotpure.net
sendmailMTAKey: gcu.info
sendmailMTAMapName: mailer
sendmailMTAMapValue: local:

# access, sendmail, gcu.info.dotpure.net
dn: sendmailMTAMapName=access,ou=sendmail,dc=gcu.info,dc=dotpure,dc=net
objectClass: top
objectClass: sendmailMTA
objectClass: sendmailMTAMap
objectClass: sendmailMTAMapObject
sendmailMTACluster: dotpure.net
sendmailMTAMapName: access
sendmailMTAKey: gcu.info
sendmailMTAMapValue: RELAY

c’est beau hein :)