June 2010 - Shell - lists.asyd.net

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jun '10

30 Jun '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:37 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277911819 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -1,5 +1,7 @@ ====== Tutorial Hadoop Pig ====== + + Le awk pour adulte. ===== A quoi ca sert ===== ** A venir ** -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jun '10

30 Jun '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:30 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277911758 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -13,9 +13,9 @@ * deplacer le repertoire créé a un endroit bien plus pratique, genre /usr/local/java * rajouter /usr/local/java/bin dans votre PATH * creer la variable d'environnement JAVA_HOME=/usr/local/java - * Telecharger hadoop pig 0.7 : http://hadoop.apache.org/pig/releases.html + * Telecharger hadoop pig 0.7 : http://hadoop.apache.org/pig/releases.html * detarrez ca ou vous voulez, /usr/local/pig dans mon cas * rajoutez /usr/local/pig/bin dans le PATH C'est tout ;) -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jun '10

30 Jun '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:29 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277911710 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -33,10 +33,6 @@ grunt> </code> Bienvenue dans grunt \o/ - \\ **A suivre** - - - -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jun '10

30 Jun '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:28 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277911673 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -1,5 +1,7 @@ ====== Tutorial Hadoop Pig ====== + + ===== A quoi ca sert ===== ** A venir ** ===== Installation pas à pas ===== -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jun '10

30 Jun '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:27 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277910259 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -1,7 +1,40 @@ ====== Tutorial Hadoop Pig ====== ** A venir ** - ===== Installation ===== + ===== Installation pas à pas ===== + + * Pour la démo, je prend un mCloud chez OVH, une debian 5.0 64bits avec 256Mo de ram (mais si, ca suffit), a 0.01€/h + + * Telecharger java 1.6 : http://java.sun.com/javase/downloads/index.jsp + * si vous avez recuperé le .bin (comme moi), executer le .bin pour installer le jdk. + * deplacer le repertoire créé a un endroit bien plus pratique, genre /usr/local/java + * rajouter /usr/local/java/bin dans votre PATH + * creer la variable d'environnement JAVA_HOME=/usr/local/java + + * Telecharger hadoop pig 0.7 : http://hadoop.apache.org/pig/releases.html + * detarrez ca ou vous voulez, /usr/local/pig dans mon cas + * rajoutez /usr/local/pig/bin dans le PATH + + C'est tout ;) + + ===== Tester Hadoop pig ===== + + Le plus simple pour tester que toute l'installation de java et de pig est correcte : Le shell **grunt**, pour le lancer, executez simplement **pig** (qui devrait maintenant etre dans votre PATH) + + Si tout va bien vous devriez avoir un truc du genre : + + <code> + pig + 10/06/30 17:26:26 INFO pig.Main: Logging error messages to: /tmp/pig_1277911586635.log + 2010-06-30 17:26:26,933 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:/// + grunt> + </code> + + Bienvenue dans grunt \o/ + \\ + + **A suivre** + + - ** A venir ** -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jun '10

30 Jun '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:04 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277910213 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -1,3 +1,7 @@ ====== Tutorial Hadoop Pig ====== + + ** A venir ** + + ===== Installation ===== ** A venir ** -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page ajoutée : filtre:hadooppig
by noreply＠asyd.net 30 Jun '10

30 Jun '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:03 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : none Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : créée Utilisateur : ker2x ====== Tutorial Hadoop Pig ====== ** A venir ** -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 30 Jun '10

30 Jun '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 15:26 Navigateur : Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; fr; rv:1.9.2.6) Gecko/20100625 Firefox/3.6.6 Adresse IP : 92.61.163.195 Nom d'hôte : rev-163-195.rtl.fr Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1277904389 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : Utilisateur : asyd @@ -529,19 +529,20 @@ et faire un mon_total/nocomment_total*100 ** A suivre, ... ** + ====== Hadoop-pig : Le Awk taille adulte ====== Awk montre vite ses limites quand il s'agit de parser plusieurs Go de texte (des logs apache sur un site a forte audience), par exemple. - Pour ça, il y a [[:HadoopPig|Hadoop Pig]]. Je ferai une doc la dessus, a l'occasion. Parce que c'est simple et ca marche(c)(r)(tm) (et ca fait beaucoup plus que awk bien sur, mais on peut l'utiliser aussi simplement qu'un awk).\\ + Pour ça, il y a [[:filtre:HadoopPig|Hadoop Pig]]. Je ferai une doc la dessus, a l'occasion. Parce que c'est simple et ca marche(c)(r)(tm) (et ca fait beaucoup plus que awk bien sur, mais on peut l'utiliser aussi simplement qu'un awk).\\ En attendant, y'a http://hadoop.apache.org/pig/ ====== Historique du document ====== * Première version de Christophe Martin (10 Mars 2006) * Christophe Martin : Correction d'orthographe et ajout d'exemples commentés (19 avril 2009) * Awk facile dans le monde réel : Laurent "ker2x" Laborde (Juin-Juillet 2010) -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 30 Jun '10

30 Jun '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 15:26 Navigateur : Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; fr; rv:1.9.2.6) Gecko/20100625 Firefox/3.6.6 Adresse IP : 92.61.163.195 Nom d'hôte : rev-163-195.rtl.fr Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1277904154 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : Utilisateur : asyd @@ -529,18 +529,19 @@ et faire un mon_total/nocomment_total*100 ** A suivre, ... ** + ====== Hadoop-pig : Le Awk taille adulte ====== Awk montre vite ses limites quand il s'agit de parser plusieurs Go de texte (des logs apache sur un site a forte audience), par exemple. - Pour ça, il y a [[HadoopPig|Hadoop Pig]]. Je ferai une doc la dessus, a l'occasion. Parce que c'est simple et ca marche(c)(r)(tm) (et ca fait beaucoup plus que awk bien sur, mais on peut l'utiliser aussi simplement qu'un awk).\\ + Pour ça, il y a [[:HadoopPig|Hadoop Pig]]. Je ferai une doc la dessus, a l'occasion. Parce que c'est simple et ca marche(c)(r)(tm) (et ca fait beaucoup plus que awk bien sur, mais on peut l'utiliser aussi simplement qu'un awk).\\ En attendant, y'a http://hadoop.apache.org/pig/ ====== Historique du document ====== * Première version de Christophe Martin (10 Mars 2006) * Christophe Martin : Correction d'orthographe et ajout d'exemples commentés (19 avril 2009) * Awk facile dans le monde réel : Laurent "ker2x" Laborde (Juin-Juillet 2010) -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtres:awk:presentation
by noreply＠asyd.net 30 Jun '10

30 Jun '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 15:22 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtres/awk/presentation?rev=1277901006 Nouvelle révision : http://cli.asyd.net/home/filtres/awk/presentation Résumé : Utilisateur : ker2x @@ -529,10 +529,18 @@ et faire un mon_total/nocomment_total*100 ** A suivre, ... ** + + ====== Hadoop-pig : Le Awk taille adulte ====== + + Awk montre vite ses limites quand il s'agit de parser plusieurs Go de texte (des logs apache sur un site a forte audience), par exemple. + + Pour ça, il y a [[HadoopPig|Hadoop Pig]]. Je ferai une doc la dessus, a l'occasion. Parce que c'est simple et ca marche(c)(r)(tm) (et ca fait beaucoup plus que awk bien sur, mais on peut l'utiliser aussi simplement qu'un awk).\\ + + En attendant, y'a http://hadoop.apache.org/pig/ ====== Historique du document ====== * Première version de Christophe Martin (10 Mars 2006) * Christophe Martin : Correction d'orthographe et ajout d'exemples commentés (19 avril 2009) * Awk facile dans le monde réel : Laurent "ker2x" Laborde (Juin-Juillet 2010) -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0