- Shell - lists.asyd.net

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 30 Jui '10

30 Jui '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 11:07 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1240148515 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : Utilisateur : ker2x @@ -407,10 +407,34 @@ } ' /var/mail/$USER </code> + ====== Awk facile dans le monde réel ====== + + Et maintenant on va faire simple \o/ + Comment résoudre des problème du monde réel avec awk (gawk dans mon cas) plutot qu'a coup de grep | sed | cut | sort | ... + + ==== petit résumé === + + * Un script awk se compose de 3 parties : + * BEGIN { } : Ce qui sera fait avant de commencer a traiter le fichier donné. + * Le corps du script + * END { } : Ce qui sera fait après avoir traité la totalité du fichier + + * Mots clés et variables utiles : + * FS (field separator) : Definit le separateur de champs. ex : BEGIN { FS="\t" } pour dire qu'on travaille sur un fichier tabulé. A ma connaissance, aucune implémentation n'accepte de regexp comme séparateur de champs. + * RS (record separator) : Definit le separateur de ligne. (pareil, on le met dans le BEGIN { }) + * NR : Nombre de champs dans la ligne courante + * NF : Dernier champs d'une ligne. ex : print $NF affiche le dernier champs. Utile aussi dans les boucles for : for (i=1 ; i<=NF ; i++) + * $0 : print $0 pour afficher toute la ligne + * $1, $2, $n : premier champ, 2ème champ, nième champ. + * next : dit a awk de sauter a la ligne suivante sans s'occuper du reste. du corps du script. + + Y'a des milliards d'autres trucs mais on a déjà le plus utile rien qu'avec ca. + + ** A suivre, j'suis au boulot et un truc viens de planter \o/ ** ====== Historique du document ====== * Première version de Christophe Martin (10 Mars 2006) * Christophe Martin : Correction d'orthographe et ajout d'exemples commentés (19 avril 2009) -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

filtre [a-z] avec awk
by Daniel Caillibaud 15 Mar '10

15 Mar '10

Bonjour, Si y'a toujours un peu de lumière par ici, j'ai une question bête de regex Pourquoi la 1re ligne, avec une majuscule, sort quand même avec awk (alors que sed donne le comportement que j'attendais) ? $ echo 'Un test > avec une autre ligne' |awk '/^[a-z ]+$/ {print $0}' Un test avec une autre ligne $ echo 'Un Test > avec une autre ligne' |sed -nre '/^[a-z ]+$/ p' avec une autre ligne -- Daniel Parler pour ne rien dire ou ne rien dire pour parler sont les deux principes majeurs de tous ceux qui ferait mieux de la fermer avant de l'ouvrir. Pierre Dac

3 6

compdef: evaluation du compadd ?
by Marc Chantreux 20 Nov '09

20 Nov '09

salut a tous, LONG DISCLAIMER: j'ai rien capté aux completions et les lignes suivantes pourraient porter atteinte a la santé mentale des pursites. SHORT DISCLAIMER: bapt? pataper ! QUESTION: soit la commande suivante: koha_doc () { perldoc -f $KOHA_VERSION/C4/$1 } J'aimerais une completion qui regarde la liste des fichiers *pm dans le repertoire $KOHA_VERSION/C4/. sauf que quand je parse mon .zshrc, je ne sais pas encore a quoi ressemble mon $KOHA_VERSION (c'est une variable que je set a la mano selon mes besoins). sans trop comprendre, j'ai tenté succesivement: compdef 'compadd $KOHA_VERSION/C4/*.pm(:t)' koha_doc compdef 'compadd \$KOHA_VERSION/C4/*.pm(:t)' koha_doc aucune ne marche! j'ai fais ca: koha_set_koha_version () { export KOHA_VERSION=~/versions/v3 compdef 'compadd $KOHA_VERSION/C4/*.pm(:t)' koha_doc } et la ca marche ... je met donc en evidence que zsh a besoin de KOHA_VERSION au moment ou je fais le compadd. Ca m'arrange pas ! bapt^wqq1 saurait me dire comment faire ? marc

2 2

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 19 Avr '09

19 Avr '09

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2009/04/19 15:41 Navigateur : Mozilla/5.0 (X11; U; Linux i686; fr; rv:1.9.0.8) Gecko/2009032711 Ubuntu/8.10 (intrepid) Firefox/3.0.8 Adresse IP : 82.255.26.194 Nom d'hôte : lns-bzn-39-82-255-26-194.adsl.proxad.net Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1240148484 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : Utilisateur : christophemartin @@ -406,10 +406,11 @@ } } ' /var/mail/$USER </code> + ====== Historique du document ====== * Première version de Christophe Martin (10 Mars 2006) - * Correction d'orthographe et ajout d'exemples commentés (19 avril 2009) + * Christophe Martin : Correction d'orthographe et ajout d'exemples commentés (19 avril 2009) -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 19 Avr '09

19 Avr '09

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2009/04/19 15:41 Navigateur : Mozilla/5.0 (X11; U; Linux i686; fr; rv:1.9.0.8) Gecko/2009032711 Ubuntu/8.10 (intrepid) Firefox/3.0.8 Adresse IP : 82.255.26.194 Nom d'hôte : lns-bzn-39-82-255-26-194.adsl.proxad.net Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1240148344 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : MAJ historique Utilisateur : christophemartin @@ -406,8 +406,10 @@ } } ' /var/mail/$USER </code> + ====== Historique du document ====== - * Première version de Christophe Martin (10 Mars 2006) + * Première version de Christophe Martin (10 Mars 2006) + * Correction d'orthographe et ajout d'exemples commentés (19 avril 2009) -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 19 Avr '09

19 Avr '09

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2009/04/19 15:39 Navigateur : Mozilla/5.0 (X11; U; Linux i686; fr; rv:1.9.0.8) Gecko/2009032711 Ubuntu/8.10 (intrepid) Firefox/3.0.8 Adresse IP : 82.255.26.194 Nom d'hôte : lns-bzn-39-82-255-26-194.adsl.proxad.net Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1240147861 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : commentaire dans l'exemple Utilisateur : christophemartin @@ -338,8 +338,9 @@ print "\t\tou bien" print "\t\tle nombre en colonne 7 est plus grand que sinus( 0,732 * le nombre en colonne 8 )" } </code> + ===== La magie de awk ===== @@ -375,9 +376,11 @@ <code awk> awk ' # pour chaque ligne { + # pour chaque mot for( i = 1; i <= NF; ++i ) { + # incrementer la frequence du mot frequence[ $i ] ++ } # et maintenant, un petit rapport. END { -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 19 Avr '09

19 Avr '09

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2009/04/19 15:31 Navigateur : Mozilla/5.0 (X11; U; Linux i686; fr; rv:1.9.0.8) Gecko/2009032711 Ubuntu/8.10 (intrepid) Firefox/3.0.8 Adresse IP : 82.255.26.194 Nom d'hôte : lns-bzn-39-82-255-26-194.adsl.proxad.net Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1240147680 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : orthographe + commentaire dans exemple. Utilisateur : christophemartin @@ -338,8 +338,9 @@ print "\t\tou bien" print "\t\tle nombre en colonne 7 est plus grand que sinus( 0,732 * le nombre en colonne 8 )" } </code> + ===== La magie de awk ===== une part importante de la magie de awk réside dans son opérateur $. @@ -348,9 +349,9 @@ pas entre " " Cet opérateur est le sélecteur de colonne, et il attend un entier. - $0 correspond a la ligne telle qu'elle a été lue. + $0 correspond à la ligne telle qu'elle a été lue. exemple : afficher le dernier mot de la ligne <code awk> @@ -390,11 +391,13 @@ autre exemple : <code awk> nawk ' + # Pour les lignes commençant par "From:" /^From:/ { de[$2]++ } + # A la fin, on fait un petit rapport. END { for( i in de ) { printf "%s a ecrit %d messages\n", i , de[i] } -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 19 Avr '09

19 Avr '09

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2009/04/19 15:28 Navigateur : Mozilla/5.0 (X11; U; Linux i686; fr; rv:1.9.0.8) Gecko/2009032711 Ubuntu/8.10 (intrepid) Firefox/3.0.8 Adresse IP : 82.255.26.194 Nom d'hôte : lns-bzn-39-82-255-26-194.adsl.proxad.net Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1240133598 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : ajout d'exemple Utilisateur : christophemartin @@ -245,45 +245,100 @@ NB : On utilisera maintenant le terme ligne pour enregistrement et le terme colonne pour champ, car c'est ce qu'on fait le plus souvent. Ne perdez pas de vue cependant que cela peut être changé. + ===== Structure d'un script ===== - Un script en awk est une suite de paire : test action + Un script en awk est une suite de paire : ''test { action }'' - Pour chaque ligne, un test est effectue, et s'il réussit, l'action associée - est effectuée. Si l'action précédente n'a pas provoqué la fin du programme (exit) ou + Pour chaque ligne, un test est effectué, et s'il réussit, l'action associée + est exécutée. Si l'action précédente n'a pas provoqué la fin du programme (exit) ou le passage à une nouvelle ligne (next), le test suivant est évalué et son action associée est exécutée s'il a réussi, etc... * Ne pas mettre de test est considéré comme un test qui réussit toujours - * Ne pas mettre d'action provoque l'action par défaut si le test réussit : l affichage de la ligne. + * Ne pas mettre d'action provoque l'action par défaut si le test réussit : l'affichage de la ligne. * omettre un test et une action (faire un script vide) ne fait rien. - * le test BEGIN est vrai avant de commencer la lecture de quoi que ce soit on l'utilise pour initialiser. - * le test END est vrai après que la dernière ligne soit lue. on l'utilise habituellement pour générer des rapports, afficher des résultats lentement collectés au cours de la lecture... + * le test ''BEGIN'' est vrai avant de commencer la lecture de quoi que ce soit on l'utilise pour initialiser. on peut mettre plusieurs tests ''BEGIN'' dans un script, leurs actions seront toutes exécutées avant de commencer le traitement des données. + * le test ''END'' est vrai après que la dernière ligne soit lue. on l'utilise habituellement pour générer des rapports, afficher des résultats lentement collectés au cours de la lecture... On peut mettre plusieurs tests ''END'' dans un script, comme pour les tests ''BEGIN'' les actions seront toutes exécutées, sauf si l'une d'elles a recours à la commande ''exit'' de awk, bien sûr. Les tests peuvent être n'importe quelle expression qui s'évalue numériquement - ou "chainement" ou une expression rationnelle entre / - ou toute combinaison de tout cela grâce aux opérateurs et-logique, ou-logique etc... + ou "chainement" ou une expression rationnelle entre ''/'' + ou toute combinaison de tout cela grâce aux opérateurs et-logique (''&&''), ou-logique (''||'') etc... - * une expression numérique est "vraie" si elle est non nulle - * une expression chaine est "vraie" si elle est non vide - * une /expression rationnelle/ est "vraie" si elle concorde avec la ligne en cours de traitement + * une expression numérique est "vraie" si elle est non nulle, + * une expression chaine est "vraie" si elle est non vide, + * une /expression rationnelle/ est "vraie" si elle concorde avec la ligne en cours de traitement, ainsi les scripts suivants affichent toutes les lignes de leur entrée : <code awk> - nawk 1 - nawk '"a"' + awk 1 + awk '"a"' </code> et ceux là n'affichent rien : <code awk> - nawk 0 - nawk '""' + awk 0 + awk '""' + </code> + + Voilà quelques exemples de test possible et leur signification : + <code awk> + /toto/ { + print "la ligne\n\t" $0 "\ncontient 'toto'" + } + + $4 == "toto" { + print "dans\n\t", $0 "\nle 4eme mot est toto" + } + + $3 ~ /toto/ { + print "dans\n\t", $0 "\nle 3eme mot contient 'toto'" + } + + $3 ~ /^toto/ { + print "dans\n\t", $0, "\nle 3eme mot commence par 'toto'" + } + + NF > 1 && $(NF - 1) !~ /toto$/ { + print "dans\n\t", $0, "\nl avant dernier mot ne se termine PAS par 'toto'" + } + + NF > 4 && $(NF - 4) { + print "dans la ligne\n\t" $0 \ + "\nil y a au moins 5 colonnes", + "\nle quatrieme avant dernier mot est non nul (", $(NF - 4), ")" + } + + # Les chaines sont plus grandes que les nombres, donc + # ce test n est correct que si on est certain de ne rencontrer que des + # nombres dans les colonnes 3, 5, 7, 8 + /xyzzy/ || $5 > 3 && ( $3 < $5 || $7 >sin( 0.732 * $8 )) { + print "SURPRENEMENT, dans \n\t" $0 + print "\tsoit il y a 'xyzzy'" + print "\tsoit le nombre en colonne 5 est plus grand que 3 ET" + print "\t\tle nombre en colonne 3 est plus petit que le nombre en colonne 5" + print "\t\tou bien" + print "\t\tle nombre en colonne 7 est plus grand que sinus( 0,732 * le nombre en colonne 8 )" + } + + # On peut ruser un peu en multipliant chaque colonne par 1.0, car + # une chaine * un nombre = 0. Malgre tout, si seule la colonne 8 + # contient une chaine mais pas un nombre, ce test peut reussir tout + # de meme si les autres conditions sont remplies. + /xyzzy/ || $5 * 1.0 > 3 && ( $3 < $5 || $7 * 1.0 >sin( 0.732 * $8 )) { + print "PRESQUE CORRECTEMENT, dans \n\t" $0 + print "\tsoit il y a 'xyzzy'" + print "\tsoit le nombre en colonne 5 est plus grand que 3 ET" + print "\t\tle nombre en colonne 3 est plus petit que le nombre en colonne 5" + print "\t\tou bien" + print "\t\tle nombre en colonne 7 est plus grand que sinus( 0,732 * le nombre en colonne 8 )" + } </code> ===== La magie de awk ===== -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 19 Avr '09

19 Avr '09

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2009/04/19 11:33 Navigateur : Mozilla/5.0 (X11; U; Linux i686; fr; rv:1.9.0.8) Gecko/2009032711 Ubuntu/8.10 (intrepid) Firefox/3.0.8 Adresse IP : 82.253.120.2 Nom d'hôte : lns-bzn-38-82-253-120-2.adsl.proxad.net Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1240133477 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : orthographe Utilisateur : christophemartin @@ -206,8 +206,9 @@ Mais pourquoi utilise-t-on des { } de temps en temps mais pas toujours ? C'est parce qu'un script awk est composé de tests et d'actions. Les actions son entourées de { } , pas les tests. Cela est expliqué dans la section suivante. + ====== Langage awk ====== Entrons enfin dans le vif du sujet. @@ -223,11 +224,11 @@ * x=4 * pi=3.14159 * z=1.5e12 - **Attention a vos réglages internationaux** Si votre variable LC_ALL ou + **Attention à vos réglages internationaux** Si votre variable LC_ALL ou LC_NUMERIC vaut fr_FR ou un truc du genre, vous allez vous retrouver avec - des nombres a ****virgule**** oui, a virgule, pas a point (.), et cela + des nombres à ****virgule**** oui, à virgule, pas a point (.), et cela sera sans doute la cause de bien des maux. awk lit des enregistrements (des lignes) qu'il découpe en champs (en colonnes). la ligne de base est aussi conservée sans modification. @@ -238,9 +239,9 @@ Pour lire des paragraphes entiers et découper en ligne, il faut que RS soit vide et que FS contienne un retour chariot. Exemple : <code awk> - nawk 'BEGIN { RS="" ; FS = "\n" } { printf "enregistrement %3d, nombre de champs %d\n, %s\n", NR, NF,\ $0 }' + awk 'BEGIN { RS="" ; FS = "\n" } { printf "enregistrement %3d, nombre de champs %d\n, %s\n", NR, NF,\ $0 }' </code> NB : -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 19 Avr '09

19 Avr '09

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2009/04/19 11:31 Navigateur : Mozilla/5.0 (X11; U; Linux i686; fr; rv:1.9.0.8) Gecko/2009032711 Ubuntu/8.10 (intrepid) Firefox/3.0.8 Adresse IP : 82.253.120.2 Nom d'hôte : lns-bzn-38-82-253-120-2.adsl.proxad.net Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1240133389 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : s/nawk/awk/ . plus pratique pour le copier/coller Utilisateur : christophemartin @@ -156,8 +156,9 @@ { print x, $0 } </code> + ===== Des exemples simples ==== @@ -168,38 +169,38 @@ * extraire une ligne contenant un modèle donné (une expression rationnelle) <code awk> grep 'regexp' - nawk '/regexp/' + awk '/regexp/' </code> * extraire la colonne 4 <code awk> - nawk '{ print $4 }' + awk '{ print $4 }' </code> * extraire la dernière colonne <code awk> - nawk '{ print $NF }' + awk '{ print $NF }' </code> * extraire la colonne 7 et 5, si le nombre en colonne 3 est plus grand que pi <code awk> - nawk '$3 > 3.141592654 { print $7, $5 }' + awk '$3 > 3.141592654 { print $7, $5 }' </code> * lignes paires : <code awk> - nawk '!(FNR % 2)' + awk '!(FNR % 2)' </code> * lignes impaires : <code> - nawk 'FNR % 2' + awk 'FNR % 2' </code> Si votre fichier a des colonnes séparées par autre chose que des blancs, par exemple des : comme le fichier /etc/passwd, utiliser l'option -F exemple : <code awk> - nawk -F : '$3 > 150 { print $1, $3, $4, $7 }' /etc/passwd + awk -F : '$3 > 150 { print $1, $3, $4, $7 }' /etc/passwd </code> Mais pourquoi utilise-t-on des { } de temps en temps mais pas toujours ? -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0