- Shell - lists.asyd.net

[CLI Wiki] page changée : racine
by noreply＠asyd.net 01 Jul '10

01 Jul '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/07/01 11:27 Navigateur : Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; fr; rv:1.9.2.6) Gecko/20100625 Firefox/3.6.6 Adresse IP : 92.61.163.195 Nom d'hôte : rev-163-195.rtl.fr Ancienne révision : http://cli.asyd.net/home/racine?rev=1169914961 Nouvelle révision : http://cli.asyd.net/home/racine Résumé : Utilisateur : asyd @@ -63,5 +63,5 @@ ====== Divers ====== * [[apropos|À propos du site]] * [[howto|Utilisation du wiki]] (à lire **IMPÉRATIVEMENT** si vous souhaitez contribuer) - * [[https://lists.asyd.net/mailman/listinfo.cgi/shell|Liste de diffusion francophone]] + * [[http://lists.asyd.net/mailman/listinfo/shell|Liste de diffusion francophone]] -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 01 Jul '10

01 Jul '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/07/01 10:00 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277971227 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -5,9 +5,9 @@ ===== Pourquoi ? Et à quoi ca sert ===== === Pourquoi Hadoop Pig sur ce wiki === - * Parce qu'il y a une page sur awk, et que Hadoop Pig fonctionne sur le même principe et le même type de fichier que awk. Sauf qu'il est faut pour des très gros volumes de données. Des lignes (records), des données tabulées (csv, etc). La syntaxe est très differente, mais sysadmin-friendly. + * Parce qu'il y a une page sur awk, et que Hadoop Pig fonctionne sur le même principe et le même type de fichier que awk. Sauf qu'il est fait pour des très gros volumes de données. Des lignes (records), des données tabulées (csv, etc). La syntaxe est très differente, mais sysadmin-friendly. * Il peut etre utilisé de la même manière que awk, en ligne de commande. Par ex : pix -x local toto.pig * Il peut être utilisé en local (-x local) , en utilisant le FS local (ce qu'on fera dans cette doc) ou en utilisant un cluster hadoop (-x mapreduce), avec un filesystem distribué (ce qu'on ne fera pas ici). * Simple d'utilisation, simple à installer, moins gourmand que awk dès qu'on traite des gros volumes (on peut traiter des To de data avec peu de Ram). -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 01 Jul '10

01 Jul '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/07/01 10:00 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277971200 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -5,15 +5,12 @@ ===== Pourquoi ? Et à quoi ca sert ===== === Pourquoi Hadoop Pig sur ce wiki === - Parce qu'il y a une page sur awk, et que Hadoop Pig fonctionne sur le même principe et le même type de fichier que awk. Sauf qu'il est faut pour des très gros volumes de données. Des lignes (records), des données tabulées (csv, etc). La syntaxe est très differente, mais sysadmin-friendly. - - Il peut etre utilisé de la même manière que awk, en ligne de commande. Par ex : pix -x local toto.pig - - Il peut être utilisé en local (-x local) , en utilisant le FS local (ce qu'on fera dans cette doc) ou en utilisant un cluster hadoop (-x mapreduce), avec un filesystem distribué (ce qu'on ne fera pas ici). - - Simple d'utilisation, simple à installer, moins gourmand que awk dès qu'on traite des gros volumes (on peut traiter des To de data avec peu de Ram). + * Parce qu'il y a une page sur awk, et que Hadoop Pig fonctionne sur le même principe et le même type de fichier que awk. Sauf qu'il est faut pour des très gros volumes de données. Des lignes (records), des données tabulées (csv, etc). La syntaxe est très differente, mais sysadmin-friendly. + * Il peut etre utilisé de la même manière que awk, en ligne de commande. Par ex : pix -x local toto.pig + * Il peut être utilisé en local (-x local) , en utilisant le FS local (ce qu'on fera dans cette doc) ou en utilisant un cluster hadoop (-x mapreduce), avec un filesystem distribué (ce qu'on ne fera pas ici). + * Simple d'utilisation, simple à installer, moins gourmand que awk dès qu'on traite des gros volumes (on peut traiter des To de data avec peu de Ram). ===== Installation pas à pas ===== * Pour la démo, je prend un mCloud chez OVH, une debian 5.0 64bits avec 256Mo de ram (mais si, ca suffit), a 0.01€/h -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 01 Jul '10

01 Jul '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/07/01 10:00 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277970633 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -1,11 +1,19 @@ ====== Tutorial Hadoop Pig ====== Le awk taille adulte. - ===== A quoi ca sert ===== + ===== Pourquoi ? Et à quoi ca sert ===== - ** A venir ** + === Pourquoi Hadoop Pig sur ce wiki === + + Parce qu'il y a une page sur awk, et que Hadoop Pig fonctionne sur le même principe et le même type de fichier que awk. Sauf qu'il est faut pour des très gros volumes de données. Des lignes (records), des données tabulées (csv, etc). La syntaxe est très differente, mais sysadmin-friendly. + + Il peut etre utilisé de la même manière que awk, en ligne de commande. Par ex : pix -x local toto.pig + + Il peut être utilisé en local (-x local) , en utilisant le FS local (ce qu'on fera dans cette doc) ou en utilisant un cluster hadoop (-x mapreduce), avec un filesystem distribué (ce qu'on ne fera pas ici). + + Simple d'utilisation, simple à installer, moins gourmand que awk dès qu'on traite des gros volumes (on peut traiter des To de data avec peu de Ram). ===== Installation pas à pas ===== * Pour la démo, je prend un mCloud chez OVH, une debian 5.0 64bits avec 256Mo de ram (mais si, ca suffit), a 0.01€/h -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 01 Jul '10

01 Jul '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/07/01 09:50 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277912270 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -1,7 +1,7 @@ ====== Tutorial Hadoop Pig ====== - Le awk pour adulte. + Le awk taille adulte. ===== A quoi ca sert ===== ** A venir ** -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jui '10

30 Jui '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:37 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277911819 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -1,5 +1,7 @@ ====== Tutorial Hadoop Pig ====== + + Le awk pour adulte. ===== A quoi ca sert ===== ** A venir ** -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jui '10

30 Jui '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:30 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277911758 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -13,9 +13,9 @@ * deplacer le repertoire créé a un endroit bien plus pratique, genre /usr/local/java * rajouter /usr/local/java/bin dans votre PATH * creer la variable d'environnement JAVA_HOME=/usr/local/java - * Telecharger hadoop pig 0.7 : http://hadoop.apache.org/pig/releases.html + * Telecharger hadoop pig 0.7 : http://hadoop.apache.org/pig/releases.html * detarrez ca ou vous voulez, /usr/local/pig dans mon cas * rajoutez /usr/local/pig/bin dans le PATH C'est tout ;) -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jui '10

30 Jui '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:29 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277911710 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -33,10 +33,6 @@ grunt> </code> Bienvenue dans grunt \o/ - \\ **A suivre** - - - -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jui '10

30 Jui '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:28 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277911673 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -1,5 +1,7 @@ ====== Tutorial Hadoop Pig ====== + + ===== A quoi ca sert ===== ** A venir ** ===== Installation pas à pas ===== -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0

[CLI Wiki] page changée : filtre:hadooppig
by noreply＠asyd.net 30 Jui '10

30 Jui '10

Une page dans votre Wiki a été ajoutée ou modifiée. Voici les détails : Date : 2010/06/30 17:27 Navigateur : Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/533.4 (KHTML, like Gecko) Chrome/5.0.375.55 Safari/533.4 Adresse IP : 82.224.249.154 Nom d'hôte : toulouse.jfg-networks.net Ancienne révision : http://cli.asyd.net/home/filtre/hadooppig?rev=1277910259 Nouvelle révision : http://cli.asyd.net/home/filtre/hadooppig Résumé : Utilisateur : ker2x @@ -1,7 +1,40 @@ ====== Tutorial Hadoop Pig ====== ** A venir ** - ===== Installation ===== + ===== Installation pas à pas ===== + + * Pour la démo, je prend un mCloud chez OVH, une debian 5.0 64bits avec 256Mo de ram (mais si, ca suffit), a 0.01€/h + + * Telecharger java 1.6 : http://java.sun.com/javase/downloads/index.jsp + * si vous avez recuperé le .bin (comme moi), executer le .bin pour installer le jdk. + * deplacer le repertoire créé a un endroit bien plus pratique, genre /usr/local/java + * rajouter /usr/local/java/bin dans votre PATH + * creer la variable d'environnement JAVA_HOME=/usr/local/java + + * Telecharger hadoop pig 0.7 : http://hadoop.apache.org/pig/releases.html + * detarrez ca ou vous voulez, /usr/local/pig dans mon cas + * rajoutez /usr/local/pig/bin dans le PATH + + C'est tout ;) + + ===== Tester Hadoop pig ===== + + Le plus simple pour tester que toute l'installation de java et de pig est correcte : Le shell **grunt**, pour le lancer, executez simplement **pig** (qui devrait maintenant etre dans votre PATH) + + Si tout va bien vous devriez avoir un truc du genre : + + <code> + pig + 10/06/30 17:26:26 INFO pig.Main: Logging error messages to: /tmp/pig_1277911586635.log + 2010-06-30 17:26:26,933 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:/// + grunt> + </code> + + Bienvenue dans grunt \o/ + \\ + + **A suivre** + + - ** A venir ** -- Ce message a été généré par DokuWiki http://cli.asyd.net/home/

1 0