Masterarbeit aus dem Jahr 2012 im Fachbereich Informatik - Angewandte Informatik, Note: 1.0, Hochschule für Technik und Wirtschaft Berlin, Sprache: Deutsch, Abstract: Die escape GmbH betreibt ein MySQL basiertes Dataware-House in das Daten aus verschiedenen Webpräsenzen fließen, um dort ausgewertet zu werden. Nach Jahren des erfolgreichen Betriebs nimmt mit der ständig steigenden Menge an gespeicherten Daten die Leistung des Systems allerdings ab. Die Laufzeiten für Auswertungen steigen und die Agilität sinkt. Kleine Optimierungen und Veränderungen des Systems können das Unbrauchbarwerden hinauszögern, als aber aus Gründen der Leistung auf einen Teil der Abfragen verzichtet werden muss, wird schließlich klar, dass nur eine grundlegende Veränderung des Systems den langfristigen Betrieb sicherstellen kann. Aus diesem Grund wurde nach Technologien gesucht, deren Fähigkeiten die Leistung des bestehenden Dataware-Houses verbessern können. Dies führte zu Hadoop [Fouc][Whi10a], einem Open Source Framework, welches die Verarbeitung von riesigen Datenmengen in einem Cluster erlaubt. Diese Arbeit untersucht, wie Komponenten des bisherigen Systems durch Dienste von Hadoop ersetzt werden können. Sie wertet die Möglichkeiten zur Strukturierung von Daten in einer spaltenbasierten Datenbank aus, evaluiert in einem Benchmark, wie sich die Zeit von Abfragen im Verhältnis zu einer stetig steigenden Datenmenge verhält und analysiert detailliert den Ressourcenverbrauch des Clusters und dessen Knoten. Die Implementierung zeigt, dass sich die spaltenbasierten Datenbank HBase sehr gut zum Speichern von einer sehr großen Menge an semistrukturierten Daten eignet und die Dataware-House Komponente Hive durch die Unterstützung eines SQL ähnlichen Syntax das Erstellen von Abfragen komfortabel ermöglicht. Die Literatur beschreibt, dass HBase automatisch linear mit dem Hinzufügen von neuen Knoten skaliert. Der durchgeführte Benchmark zeigt, dass die Ausführungs-Zeit der getesteten Abfragen fast genau linear zur Datenmenge steigt, der Ressourcenverbrauch nur gering wächst und die Last im Cluster gleichmäßig verteilt wird. Dies lässt die Schlussfolgerung zu, dass sich Hadoop gut zum Betrieb einer Dataware-House Lösung eignet.
Kaufen Sie hier:
Horizontale Tabs
Weitere E-Books zum Thema: Programmiersprachen - Softwareentwicklung
Shortcut-Tipps für ASP.NET-Profis
Die neue .NET-Version der Active Server Pages stellt eine Umgebung zur Entwicklung von Web-Applikationen im .NET-Framework bereit. Viele aus der Desktop-…
Shortcut-Tipps für ASP.NET-Profis
Die neue .NET-Version der Active Server Pages stellt eine Umgebung zur Entwicklung von Web-Applikationen im .NET-Framework bereit. Viele aus der Desktop-…
Shortcut-Tipps für ASP.NET-Profis
Die neue .NET-Version der Active Server Pages stellt eine Umgebung zur Entwicklung von Web-Applikationen im .NET-Framework bereit. Viele aus der Desktop-…
Mit der Version 5 erreicht PHP einen bemerkenswerten Reifegrad, der PHP zu einer festen Größe in der Welt der Webprogrammierung macht. Gerade die leichte Erlernbarkeit macht PHP zur idealen…
Die Informatik entwickelt sich in einer unglaublichen Geschwindigkeit. Häufig ist die Mathematik Grundlage von Neuerungen. Deshalb ist sie unverzichtbares Werkzeug jedes Informatikers und Pflichtfach…
Die Informatik entwickelt sich in einer unglaublichen Geschwindigkeit. Häufig ist die Mathematik Grundlage von Neuerungen. Deshalb ist sie unverzichtbares Werkzeug jedes Informatikers und Pflichtfach…
Die Informatik entwickelt sich in einer unglaublichen Geschwindigkeit. Häufig ist die Mathematik Grundlage von Neuerungen. Deshalb ist sie unverzichtbares Werkzeug jedes Informatikers und Pflichtfach…
3., aktualisierte Auflage. Inkl. kompletter Spiele-Engine.
DAS UMFASSENDE HANDBUCH ZUR 3D-SPIELEPROGRAMMIERUNG
- Behandelt alle wichtigen Techniken der Spieleentwicklung auf Basis von DirectX und C…
3., aktualisierte Auflage. Inkl. kompletter Spiele-Engine.
DAS UMFASSENDE HANDBUCH ZUR 3D-SPIELEPROGRAMMIERUNG
- Behandelt alle wichtigen Techniken der Spieleentwicklung auf Basis von DirectX und C…
3., aktualisierte Auflage. Inkl. kompletter Spiele-Engine.
DAS UMFASSENDE HANDBUCH ZUR 3D-SPIELEPROGRAMMIERUNG
- Behandelt alle wichtigen Techniken der Spieleentwicklung auf Basis von DirectX und C…
Veröffentlichte Gebrauchsmustereintragungen beim Deutschen Patent- und Markenamt. Bibliographie, Hauptanspruch,wichtigste Zeichnung, Nebenklassenhinweise.
Checkpoint is a tax research system that ...
Die Fachzeitschrift FREIE WERKSTATT berichtet seit der ersten Ausgaben 1994 über die Entwicklungen des Independent Aftermarkets (IAM). Hauptzielgruppe sind Inhaberinnen und Inhaber, Kfz-Meisterinnen ...
Baumarkt enthält eine ausführliche jährliche Konjunkturanalyse des deutschen Baumarktes und stellt die wichtigsten Ergebnisse des abgelaufenen Baujahres in vielen Zahlen und Fakten zusammen. Auf ...
Einzelbeiträge und Sammelrezensionen zur vergleichenden Landesgeschichte. Im Gesamtverein der deutschen Geschichts- und Altertumsvereine haben sich die deutschen Geschichtsvereine, die Historischen ...
Informiert über das nationale und internationale Hockey.
Die Deutsche Hockeyzeitung ist Ihr kompetenter Partner für Ihren Auftritt im Hockeymarkt.
Sie ist die einzige bundesweite Hockeyzeitung ...
Mitteilungen der Deutschen Gesellschaft für Individualpsychologie e.V. (DGIP) für ihre Mitglieder Die Mitglieder der DGIP erhalten viermal jährlich das Mitteilungsblatt „DGIP-intern“ ...
Das Magazin der christlichen Gewerkschaften: Christliche Gewerkschaft Metall (CGM) Christliche Gewerkschaft Deutscher Eisenbahner (CGDE) Christliche Gewerkschaft Bergbau, Chemie, Energie (CGBCE) ...
Prüfungs- und Praxiswissen für Großhandelskaufleute
Mehr Erfolg in der Ausbildung, sicher in alle Prüfungen gehen, im Beruf jeden Tag überzeugen: „Die Großhandelskaufleute“ ist die ...
Directorium des Bistums Würzburg. Das Bistum Würzburg im Portrait: Vielfältig die Landschaften, lebensfroh und bodenständig die Menschen: das im Norden Bayerns gelegene Bistum Würzburg verbindet ...
evangelische Beiträge zum Leben in Kirche und Gesellschaft
Die Evangelische Akademikerschaft in Deutschland ist Herausgeberin der Zeitschrift evangelische aspekte Sie erscheint viermal im Jahr. In ...