Speichertechnologie 09.09.2011, 12:07 Uhr

„Big Data“ erfordert großen Aufwand

Die Datenmenge aus mobilen Transaktionen, E-Commerce und Sensorik steigt exponentiell an. Folglich steigt der Bedarf an Speicherplatz ebenso wie der an Kapazität der Datenbanken. Neue Technologien erleichtern die Auswertung, doch Analysten mahnen zur Umstellung der Strategie in der Verarbeitung von „Big Data“.

Die Menge und Vielfalt von Daten, die Unternehmen verarbeiten müssen, nimmt exponentiell zu. Es handelt sich um drei Kategorien: strukturierte Daten aus relationalen Datenbanken, halbstrukturierte Daten in XML- und HTML-Internetformat sowie aus Office-Dokumenten; schließlich unstrukturierte Daten wie Logs und Blogs, Sensordaten, Bilder, Audio, Video usw.

Top Stellenangebote

Zur Jobbörse
PFW Aerospace GmbH-Firmenlogo
Ingenieur / Techniker im Bereich Produkt- und Verfahrenssicherung (w/m/d) PFW Aerospace GmbH
SCHUNK SE & Co. KG-Firmenlogo
Praktikant / Werkstudent - KI und Sprachmodelle (m/w/d) SCHUNK SE & Co. KG
Lauffen am Neckar Zum Job 
SCHUNK SE & Co. KG-Firmenlogo
Projektleiter - Softwareentwicklung Tools (m/w/d) SCHUNK SE & Co. KG
Lauffen am Neckar Zum Job 
Stadt Neckarsulm-Firmenlogo
Landschaftsplaner/-ökologe / Umweltplaner (m/w/d) Stadt Neckarsulm
Neckarsulm Zum Job 
Fachverband Sanitär-Heizung-Klima Baden-Württemberg-Firmenlogo
Ingenieur für Gebäudetechnik (w/m/d) Fachverband Sanitär-Heizung-Klima Baden-Württemberg
Stuttgart Zum Job 
Pentair Südmo GmbH-Firmenlogo
Leiter Qualitätsmanagement (m/w/d) Pentair Südmo GmbH
Riesbürg Zum Job 
SCHUNK SE & Co. KG-Firmenlogo
Projektleiter - Technologiemanagement (m/w/d) SCHUNK SE & Co. KG
Lauffen am Neckar Zum Job 
Stadtwerke Verkehrsgesellschaft Frankfurt am Main mbH-Firmenlogo
Ingenieur:in im Bereich Elektrotechnik (d/m/w) Stadtwerke Verkehrsgesellschaft Frankfurt am Main mbH
Frankfurt am Main Zum Job 
THOST Projektmanagement GmbH-Firmenlogo
Ingenieur*in (m/w/d) in der Terminplanung von Projekten (Oracle Primavera) für Industrieprojekte THOST Projektmanagement GmbH
Freiburg im Breisgau, Karlsruhe, Mannheim, München, Stuttgart Zum Job 
Albert Handtmann Maschinenfabrik GmbH & Co. KG-Firmenlogo
Entwicklungsingenieur (m/w/d) Vakuumfüller Albert Handtmann Maschinenfabrik GmbH & Co. KG
Biberach Zum Job 
Berliner Wasserbetriebe-Firmenlogo
Umweltingenieur:in Genehmigungen (w/m/d) Berliner Wasserbetriebe
Berliner Wasserbetriebe-Firmenlogo
Ingenieur:in Gebäudeausrüstung (w/m/d) Berliner Wasserbetriebe
INEOS Phenol GmbH-Firmenlogo
Abteilungsleiter/in (d/m/w) des Bereichs EMSR an den Standorten Gladbeck / Marl INEOS Phenol GmbH
Gladbeck Zum Job 
Flughafen Nürnberg GmbH-Firmenlogo
Ingenieur (m/w/d) Versorgungstechnik (Bachelor / Master) im Bereich Haustechnik Flughafen Nürnberg GmbH
Nürnberg Zum Job 
wks Technik GmbH-Firmenlogo
Ingenieur für Bauplanung (w/m/d) wks Technik GmbH
Dresden Zum Job 
GWH Wohnungsgesellschaft mbH Hessen-Firmenlogo
Architekt (m/w/d) als Planungskoordinator in der Gebäudemodernisierung GWH Wohnungsgesellschaft mbH Hessen
Frankfurt am Main Zum Job 
THOST Projektmanagement GmbH-Firmenlogo
Cost Engineer /-Controller*in (m/w/d) THOST Projektmanagement GmbH
Die Autobahn GmbH des Bundes, Niederlassung Südbayern-Firmenlogo
Bauingenieur Straßenplanung (w/m/d) Die Autobahn GmbH des Bundes, Niederlassung Südbayern
München Zum Job 
Diakoneo KdöR-Firmenlogo
Ingenieur / Techniker / Meister (m/w/d) als Projektleiter (m/w/d) Technische Gebäudeausrüstung Diakoneo KdöR
Neuendettelsau Zum Job 
Wirtschaftsbetrieb Hagen AöR-Firmenlogo
Bauingenieur*in (Diplom/Bachelor/Master) Fachrichtung Straßenbau/Tiefbau oder ein vergleichbares technisch-ingenieurwissenschaftliches Studium Wirtschaftsbetrieb Hagen AöR

Inzwischen gibt es eine Reihe von Lösungen am Markt, um der Datenflut zu begegnen. „Die Standardtechnologie der relationalen Datenbank ist nicht geeignet, um diese Daten in Massen zu verarbeiten und zu speichern“, konstatiert Wilfried Hoge, Leading Technical Sales Professional bei IBM Deutschland. „Was sich als Standard etabliert hat, ist das Apache-Hadoop-Framework, das große Datenbestände nach Spitzenwertmustern aufbaut.“ Hadoop sei aus der Google-Technologie MapReduce entstanden, die große Datenmengen berechnen kann.

Apache-Hadoop-Framework hat sich als Standard für „Big Data“ etabliert

„Unsere Studie hat ergeben, dass über 50 % der befragten Unternehmen Hadoop entweder bereits im Einsatz haben oder für große Datenprojekte evaluieren“, berichtet Analyst David Menninger von Ventana Research. „Hadoop wird als Ergänzung verwendet, wenn es um die Analyse von un- oder semi-strukturierten Daten oder um anspruchsvolle Analysen geht – beispielsweise beim Data Mining, wo relationale Datenbanken an ihre Grenzen stoßen.“ 69 % der Hadoop-Anwender würden Anwendungsprotokolle analysieren, 64 % bewerten vor allem Ereignisdaten.

IBM hat Apache Hadoop in sein Entwicklungswerkzeug BigInsights integriert. „Das liefert Security-, Workflow- und administrative Merkmale sowie eine Benutzeroberfläche“, berichtet Hoge. „Aber es ist ein Werkzeug und keine fertige Lösung für ein bestimmtes Problem.“ Deshalb will IBM BigInsights mit analytischen Fähigkeiten versehen. Um auf viele Datenquellen zugreifen zu können, empfiehlt Hoge Schnittstellen zu UIMA, der Unstructured Information Management Architecture.

„Big Data“: Datenbankhersteller Teradata greift auf Hadoop-Framework und MapReduce-Technik zurück

Auch der Datenbankhersteller Teradata habe laut Chief Technology Officer Stephen Brobst das Hadoop-Framework und die MapReduce-Technik durch Schnittstellen in seine Datenbankarchitektur integriert. „Teradata behandelt Hadoop-Quellen wie normale Tabellen“, erklärt Brobst. Dadurch lassen sich auf Webseiten z. B. Blogs effizient auswerten.

Durch die Integration von MapReduce und Hadoop bieten IBM und Teradata ihren Unternehmenskunden Opensource-Module an, die mit einer entsprechenden Verwaltungs- und Sicherheitsschicht umgeben sind. In ähnlicher Weise offeriert der Business-Intelligence-Anbieter (BI) Actuate als Zusatznutzen ein Werkzeug für Berichtswesen und Datenanalyse. „Actuate bietet nun eine Schnittstelle zu Hadoop-Daten und öffnet Entwicklern von BI-Anwendungen neue Wege“, so Menninger.

Nach Ansicht von IDC-Analyst Rüdiger Spies ist ein Verschmelzen von Daten und Anwendungen ebenso zu beobachten wie der Einfluss von Daten, die von Firmenmitarbeitern stammen. Folglich gelte es nicht nur Speicher zu optimieren, sondern auch die Organisation und deren Regeln. Spies schlägt die Position eines Chief Data Officers vor, der sich nicht zuletzt um die Datenqualität im Hinblick auf Rechtskonformitäten kümmern muss. Daten müssten kontextsensitiv verarbeitet werden, also mithilfe von beschreibenden Daten. Das würde künftig auch die semantische Analyse erleichtern.

„Big Data“: Große Menge an Daten und Datentypen

Martin Beyer vom Beratungsunternehmen Gartner rät den Unternehmen, nicht nur die Datenmenge zu betrachten, sondern auch die Bandbreite von Datentypen und nicht zuletzt die Geschwindigkeit des Dateneingangs und der Datenverarbeitung. „Informationsmanager müssen die Nutzung der Daten im Unternehmen grundlegend neu überdenken“, mahnt Beyer.

Ein Beitrag von:

  • Michael Matzer

    Michael Matzer arbeitet als Journalist, Übersetzer, Rezensent und Buchautor. Big Data und Industry of Things zählen zu seinen Schwerpunkten.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.