Comment construire un index inversé avec MapReduce

Tapez le code suivant pour la fonction de carte :

publique InvertedIndexerMapper de classe statique s'étend MapReduceBaseimplements Mapper { mot du texte statique finale privée = new text () ; emplacement du texte statique finale privée = new Text ();

plan public void (touche LongWritable , texte val, OutputCollector , journaliste de Reporter ) throws IOException { FileSplit FileSplit = ( FileSplit ) reporter.getInputSplit (); string filename = fileSplit.getPath () getName (); location.set ( fileName ) ;
ligne Chaîne de

- val.toString (); . ITR StringTokenizer = new StringTokenizer ( ligne. toLowerCase ()); while ( itr.hasMoreTokens ()) { word.set ( itr.nextToken ()); output.collect (word, emplacement ) ;}}}
2

Tapez la commande suivante code de la fonction réduire :

publique InvertedIndexerReducer de classe statique s'étend MapReduceBaseimplements Réducteur { public void réduire ( clé du texte , les valeurs Iterator , OutputCollector , journaliste de Reporter ) throws IOException { booléen première = true; StringBuilder toReturn = new StringBuilder (); while ( values.hasNext () ) {if ( premier ) toReturn.append ( ",") ; ! première = false; toReturn . append ( . values.next () toString () );} output.collect (clé, un nouveau texte ( toReturn.toString ()) );}}
3

Tapez le code suivant pour compléter l' index inversé : Photos

public static void main ( string [] args ) throws IOException {if ( args.length < 2) { System.outprintln ( "Usage: InvertedIndex < ; chemin de sortie > "); System.exit (1 );} JobConf conf = new JobConf ( InvertedIndex.class ) ; conf.setJobName ( " InvertedIndex ");

conf.setOutputKeyClass ( Text.class ) ; conf.setOutputValueClass ( Text.class ) ;

conf.setMapperClass ( InvertedIndexerMapper.class ) ; conf.setReducerClass ( InvertedIndexerReducer.class ) ;

FileInputFormat.setInputPaths ( conf, nouveau chemin ( args [0] ) ) ; FileOutputFormat.setOutputPath ( conf, nouveau chemin (args [1] ) ) ; try { JobClient.runJob ( conf) ; } catch (Exception e) { e.pringStackTrace ();} }