Masterprojekt MSP0801: Blogsatz

Seit ein paar Wochen geistert uns die Idee einer eigenen kleinen Suchmaschine für wissenschaftliche Blogs im Kopf herum (siehe früherer Post zum Thema Blogsatz). Mittlerweile ist die Idee wesentlich konkreter und soll im Rahmen des Masterprojekts (siehe Univis) umgesetzt werden.

Wir haben uns mit der Technologie von Suchmaschinen näher vertraut gemacht. Insbeondere der open-source WebCrawler bixo wurde mit Spannung auf seine Einsetzbarkeit hin getestet. Mit Verlaub: Wir sind begeistert, was diese Software leistet und wie einfach sie zu benutzen ist!

Bixo bietet Möglichkeiten zum Crawlen (also der rekursiven Suche nach Hyperlinks in Webseiten) und zum WebMining (Inhalteauswertung von Webseiten) und ist somit perfekt für unser Vorhaben nutzbar. Bixo ist in Java geschrieben, mit dem man als Student an der Uni Kiel vertraut sein sollte. Das Spannendste ist jedoch die Skalierbarkeit von Bixo. Die Software ist sowohl für den Einsatz auf einem kleinen Laptop konzipiert, kann jedoch auch ohne Probleme in einem Cluster mit hunderten von Rechnern betrieben werden.

Da davon auszugehen ist, dass eine Suchmaschine die Verarbeitung von riesigen Datenmengen leisten muss und wir unser Rechenzentrum nicht unnötig ärgern wollen, haben wir uns erfolgreich für Lizenzen für die Amazon-Cloud beworben und bixo auch hier schon erfolgreich auf einem kleinen Cluster exemplarisch einsetzen können!

Im Rahmen der Spielwiese dieses Masterprojekts existieren viele spannende Aufgabenbereiche:

  • Konfiguration und Einsatz eines spezialisierten WebCrawlers
  • Verarbeitung von “Big Data”
  • Spielen in den Wolken … der Amazon-Cloud
  • Natural Language Processing – Verarbeitung von Texten in natürliche Sprache
  • Speicherung und Verarbeitung semantifizierter Daten

Interessierte Studenten mögen bitte das Dokument (pdf) mit weiterführenden Informationen zur Projektidee und möglicher Architektur zur Kenntnis nehmen und sich zu einem der beiden Vorbesprechungstermine einfinden:

Vorbesprechung Masterprojekt Blogsatz am 15.10.2012 um 14:00 Uhr im Raum 1118 CAP4

oder

Vorbesprechung Masterprojekt Blogsatz am 22.10.2012 um 16:00 Uhr im Raum 1118 CAP4

 

 

Comments are closed.