MapReduce ist eine parallele Programmierung Modell in Google für große Datenmengen entwickelt. Er verarbeitet Daten in Blöcken statt in sequentieller Reihenfolge . Dabei stützt sie sich auf einer Karte von gepaarten Eingangs-Funktionen (keys ) und Werten, die er legt dann durch die reduce -Funktion - so sein Name - , um die Daten leichter zu verstehen. Anstatt die Map-Funktion mit einem Schlüssel und Wert , einen invertierten Index Paare Wörter und Dokumente , um Text zu suchen . Sie können invertierte Indizes in MapReduce verwenden, um einen Index für eine Keyword-Suche zu erstellen , zum Beispiel. Anleitung
1

Geben Sie den folgenden Code für die Map-Funktion :

public static class InvertedIndexerMapper erstreckt MapReduceBaseimplements Mapper {private final static Text Wort = new Text ( ); Private final static Text location = new Text ( );

public void map ( LongWritable Schlüssel , Text val, OutputCollector Ausgang , Reporter Reporter ) throws IOException { fileSplit filesplit = ( fileSplit ) reporter.getInputSplit (); String filename = fileSplit.getPath () getName (); location.set (Dateiname) ;

String line - val.toString (); . StringTokenizer itr = new StringTokenizer ( Linie. toLowerCase ()); while ( itr.hasMoreTokens ()) { word.set ( itr.nextToken ()); output.collect (word , Ort) ; }}}
2

Geben Sie den folgenden Code für die Funktion reduzieren :

public static class InvertedIndexerReducer erstreckt MapReduceBaseimplements Reducer { public void reduzieren (Text Taste Iterator Werte , OutputCollector Ausgang , Reporter Reporter ) throws IOException { boolean first = true; StringBuilder toReturn = new StringBuilder (); while ( values.hasNext () ) {if (ersten) toReturn.append (", "); ! erste = false; toReturn . append ( . values.next () toString () );} output.collect (key , neuen Text ( toReturn.toString ()) );}}
3

Geben Sie den folgenden Code um das invertierte Index kompletten

public static void main (String [] args ) throws IOException {if ( args.length <2) { System.outprintln ( " Usage: InvertedIndex < ; Ausgang path> "); System.exit (1 );} JobConf conf = new JobConf ( InvertedIndex.class ); conf.setJobName ( " InvertedIndex ");

conf.setOutputKeyClass ( Text.class ); conf.setOutputValueClass ( Text.class );

conf.setMapperClass ( InvertedIndexerMapper.class ); conf.setReducerClass ( InvertedIndexerReducer.class );

FileInputFormat.setInputPaths ( conf, neue Pfad ( args [0] ) ); FileOutputFormat.setOutputPath ( conf, neue Pfad (args [1] ) ); try { JobClient.runJob ( conf ); } catch ( Exception e) { e.pringStackTrace (); }}