Die „beängstigende“ Sieben: Herausforderungen von Big Data und deren Lösungswege

Jeder General muss seine Gegner studieren, bevor er in die Schlacht zieht: Wie groß ist ihre Armee, welche Waffen haben sie, in wie vielen Schlachten haben sie gekämpft und welche Haupttaktiken haben sie verwendet? Dieses Wissen kann es dem General ermöglichen, die richtige Strategie zu entwickeln und kampfbereit zu sein.

Ähnlicherweise muss jeder Entscheidungsträger wissen, womit er es zu tun hat, bevor er mit Big Data anfängt. Hier behandeln wir sieben große Herausforderungen von Big Data und bieten ihre Lösungen an. Mit diesen "Insiderinformationen" können Sie die beängstigenden Geschöpfe von Big Data dressieren, ohne dass diese Sie im Kampf um den Aufbau eines datengesteuerten Unternehmens besiegen.

Big-Data-Herausforderungen

Herausforderung Nr. 1: die unzureichenden Verständnis und Akzeptanz von Big Data

Häufig kennen Unternehmen sogar die Grundlagen nicht: Was Big Data eigentlich ist, welche Vorteile es mitbringt, welche Infrastruktur benötigt wird usw. Ohne ein klares Verständnis droht ein Big-Data-Projekt zum Scheitern verurteilt zu sein. Die Unternehmen können viel Zeit und Ressourcen mit Dingen verschwenden, die sie nicht einmal nutzen können.

Und wenn Mitarbeiter die Vorteile von Big Data nicht verstehen und/oder die bestehenden Prozesse bei seinem Einsatz nicht ändern wollen, können sie dabei Widerstand leisten und den Fortschritt des Unternehmens behindern.

Lösung:

Big Data stellt eine große Veränderung für ein Unternehmen dar. Es soll zuerst vom Top-Management und dann von oben nach unten akzeptiert werden. Um das Verständnis und die Akzeptanz von Big Data auf allen Ebenen zu gewährleisten, müssen IT-Abteilungen zahlreiche Schulungen und Workshops organisieren.

Um die Akzeptanz von Big Data noch zu erhöhen, müssen die Implementierung und der Einsatz der neuen Big-Data-Lösung überwacht und gesteuert werden. Das Top-Management sollte jedoch mit Kontrolle nicht übertreiben, weil das sich negativ auswirken kann.

Herausforderung Nr. 2: Verwirrende Vielfalt von Big-Data-Technologien

Big-Data-Technologien

Man kann sich in der Vielfalt der heute auf dem Markt verfügbaren Big-Data-Technologien leicht verlieren. Brauchen Sie Spark oder würden die Geschwindigkeiten von Hadoop MapReduce ausreichen? Ist es besser, Daten in Cassandra oder HBase zu speichern? Antworten auf diese Fragen zu finden kann schwierig sein. Und es ist noch einfacher, eine schlechte Wahl zu treffen, wenn Sie den Ozean der technologischen Möglichkeiten erkunden, ohne einen klaren Überblick darüber zu haben, was Sie eigentlich brauchen.

Lösung:

Wenn Sie neu in der Welt von Big Data sind, bedeuten Ihre Versuche, professionelle Hilfe zu finden, dass Sie auf dem richtigen Weg sind. Sie können einen Experten beauftragen oder sich an einen Anbieter für Big-Data-Beratung wenden. In beiden Fällen können Sie mit gemeinsamen Anstrengungen eine Strategie entwickeln und darauf basierend den benötigten Technologie-Stack auswählen.

Herausforderung Nr. 3: Das kostet eine Menge Geld

On-Premises vs Cloud Kosten

Big-Data-Projekte sind mit hohen Kosten verbunden. Wenn Sie sich für eine On-Premises-Lösung entscheiden, müssen Sie auf die Kosten für neue Hardware, neue Mitarbeiter (Administratoren und Entwickler), Strom und so weiter achten. Plus: Obwohl die benötigten Frameworks Open Source sein können, müssen Sie immer noch für Entwicklung, Einrichtung, Konfiguration und Wartung neuer Software bezahlen.

Wenn Sie sich für eine cloudbasierte Big-Data-Lösung entscheiden, müssen Sie immer noch Mitarbeiter einstellen (wie oben) und für Cloud-Services, die Entwicklung von Big-Data-Lösungen sowie die Einrichtung und Wartung der benötigten Frameworks bezahlen.

Darüber hinaus müssen Sie in beiden Fällen zukünftige Erweiterungen berücksichtigen, um zu verhindern, dass das Wachstum von Big Data aus dem Ruder läuft und Sie ein Vermögen kostet.

Lösung:

Wie genau der Geldbeutel Ihres Unternehmens gerettet wird, hängt von den spezifischen technologischen Bedürfnissen Ihres Unternehmens und Ihren geschäftlichen Zielen ab. Zum Beispiel profitieren die Unternehmen, die sich die Flexibilität wünschen, von der Cloud, während  die Unternehmen mit extrem hohen Sicherheitsanforderungen jedoch eine On-Premises-Lösung wählen.

Es gibt auch hybride Lösungen, wenn Daten sowohl in der Cloud als auch On-Premises gespeichert und verarbeitet werden, was auch kosteneffektiv sein kann. Und die Verwendung von Data Lakes (Datenseen) oder Optimierungen von Algorithmen (wenn es richtig gemacht wird) kann auch Geld sparen:

  1. Data Lakes bieten günstige Speichermöglichkeiten für die Daten, die im Moment nicht analysiert werden müssen.
  2. Optimierungen von Algorithmen können wiederum den Stromverbrauch des Computers um das 5- bis 100-fach reduzieren. Oder noch mehr.

Kurz zusammengefasst: der Schlüssel zur Lösung dieser Herausforderung besteht darin, Ihre Bedürfnisse richtig zu analysieren und eine entsprechende Vorgehensweise zu wählen.

Herausforderung Nr. 4: Komplexität des Datenqualitätsmanagements

Daten aus verschiedenen Quellen

Früher oder später werden Sie auf das Problem der Datenintegration stoßen, weil die zu analysierenden Daten aus verschiedenen Quellen in einer Vielzahl unterschiedlicher Formate stammen. E-Commerce-Unternehmen müssen beispielsweise Daten aus Webseite-Protokollen, Callcentern, Webseiten von Wettbewerbern und sozialen Medien analysieren. Die Datenformate unterscheiden sich offensichtlich, und ihre Übereinstimmung kann problematisch sein. Zum Beispiel muss Ihre Lösung wissen, dass die Skier mit Namen SALOMON QST 92 17/18, Salomon QST 92 2017-18 und Salomon QST 92 Skis 2018 die gleiche Sache sind, während Unternehmen mit Namen ScienceSoft und Sciencesoft nicht dieselben sind.

Unzuverlässige Daten

Niemand verheimlicht die Tatsache, dass Big Data nicht 100% genau ist. Und im Großen und Ganzen ist es nicht so kritisch. Aber das bedeutet nicht, dass Sie überhaupt nicht kontrollieren sollten, wie zuverlässig Ihre Daten sind. Es kann nicht nur falsche Informationen enthalten, sondern auch sich selbst duplizieren und sich selbst widersprechen. Und es ist unwahrscheinlich, dass Daten von extrem schlechter Qualität nützliche Einblicke oder glänzende Möglichkeiten für Ihre Präzision erfordernden Geschäftsaufgaben bieten können.

Lösung:

Qualität von Big Data

Es gibt eine ganze Reihe von Technologien, um Daten zu bereinigen. Aber das Wichtigste zuerst. Ihr Big Data muss ein richtiges Modell haben. Erst nachdem Sie das erstellt haben, können Sie weitere Dinge tun, wie:

  • Daten mit der einzigen Quelle der Wahrheit vergleichen (zum Beispiel Varianten von Adressen mit ihren Schreibweisen in der Datenbank des Postwesens vergleichen).
  • Datensätze abstimmen und sie zusammenführen, wenn sie sich auf dieselbe Einheit beziehen.

Bitte beachten Sie aber, dass Big Data nie hundertprozentig genau ist. Sie müssen es wissen und dieser Herausforderung gerecht werden, und der Artikel zum Thema Qualität von Big Data kann Ihnen dabei helfen.

Herausforderung Nr. 5: Gefährliche Sicherheitslücken in Big Data

Die Sicherheitsherausforderungen von Big Data sind ein ziemlich großes Thema, das eine besondere Beachtung verdient. Aber schauen wir uns das Problem im Großen an.

Sehr oft verschieben Big-Data-Projekte die Sicherheit zu einem späteren Zeitpunkt. Und, ehrlich gesagt, das ist kein kluger Schachzug. Big-Data-Technologien entwickeln sich weiter, aber ihre Sicherheitsfunktionen werden immer noch vernachlässigt, weil man hofft, dass Sicherheit auf Anwendungsebene gewährt wird. Und was bekommen wir? In beiden Fällen (während des technischen Fortschritts und bei der Projektdurchführung) wird die Sicherheit von Big Data einfach beiseite geworfen.

Lösung:

Die Vorsichtsmaßnahme gegen Ihre möglichen Sicherheitsherausforderungen von Big Data besteht darin,  der Sicherheit höchste Beachtung zu schenken. Das ist besonders wichtig bei der Entwicklung der Architektur Ihrer Lösung. Denn wenn Sie von Anfang an nicht mit der Sicherheit von Big Data zurechtkommen, wird sie Sie dann beißen, wann Sie es am wenigsten erwarten.

Herausforderung Nr. 6: Schwieriger Prozess der Verwandlung von Big Data in wertvolle Erkenntnisse

Verwandlung von Big Data

Hier ist ein Beispiel: Ihre supercoolen Big Data Analytics prüft, welche Artikel Leute gleichzeitig kaufen (z. B. Nadel und Faden), basierend ausschließlich auf Ihren historischen Daten über das Kundenverhalten. Inzwischen postet ein bestimmter Fußballspieler auf Instagram sein neuer Look, und die zwei charakteristischen Dinge, die er trägt, sind weiße Nike Sneakers und eine beigefarbene Kappe. Er sieht in ihnen gut aus, und Leute, die das sehen, wollen auch so aussehen. Deshalb eilen sie sich, ein ähnliches Paar Turnschuhe und eine ähnliche Kappe zu kaufen. Aber in Ihrem Geschäft haben Sie nur die Turnschuhe. Als Ergebnis verlieren Sie Einnahmen und vielleicht einige treue Kunden.

Lösung:

Der Grund dafür, dass Sie die benötigten Artikel nicht auf Lager haben, ist, dass Ihr Big-Data-Tool keine Daten aus sozialen Netzwerken oder Web Shops von Wettbewerbern analysiert, während Big Data von Ihrem Wettbewerber unter anderem Trends in sozialen Medien in Nahe-Echtzeit erkennt. Und sein Geschäft hat beide Artikel und bietet sogar 15% Rabatt an, wenn man die beiden kauft.

Die Idee hierbei ist, dass Sie ein richtiges System von Faktoren und Datenquellen erstellen müssen, dessen Analyse die notwendigen Einblicke bringt, und sicherstellen, dass nichts aus dem Auge verloren wird. Ein solches System sollte oft externe Quellen enthalten, auch wenn es schwierig sein kann, externe Daten zu sammeln und zu analysieren.

Herausforderung Nr. 7: Probleme beim Upscaling

Das typischste Merkmal von Big Data ist seine dramatische Fähigkeit zu wachsen. Und genau damit ist eine der größten Herausforderungen von Big Data verbunden.

Ihre Lösungskonzeption kann durchdacht und auf das Upscaling ohne zusätzlichen Aufwand angepasst werden. Das wahre Problem liegt jedoch nicht im Prozess der Einführung neuer Verarbeitungs- und Lagerkapazitäten. Es besteht in der Komplexität vom Upscaling auf so eine Weise, dass die Leistung Ihres Systems nicht sinkt und Sie innerhalb des Budgets bleiben.

Lösung:

Die erste und wichtigste Vorsichtsmaßnahme für solche Herausforderungen ist eine anständige Architektur Ihrer Big-Data-Lösung. Solange sich Ihre Big-Data-Lösung der solchen Sache rühmen kann, ist es wesentlich weniger wahrscheinlich, dass ähnliche Probleme später auftreten. Eine weitere wichtige Sache, die Sie tun müssen, ist, Ihre Big-Data-Algorithmen unter Berücksichtigung vom zukünftigen Upscaling zu entwerfen.

Außerdem müssen Sie jedoch die Wartung und den Support Ihres Systems planen, damit alle Änderungen im Zusammenhang mit dem Datenwachstum ordnungsgemäß berücksichtigt werden. Und obendrauf, kann die Durchführung systematischer Wirtschaftlichkeitsprüfungen dazu beitragen, Schwachstellen zu identifizieren und rechtzeitig zu beheben.

Gewonnen oder verloren?

Wie Sie vielleicht bemerkt haben, können die meisten der besprochenen Herausforderungen vorhergesehen und gemeistert werden, wenn Ihre Big-Data-Lösung über eine anständige, gut organisierte und durchdachte Architektur verfügt. Und das bedeutet, dass Unternehmen einen systematischen Ansatz dazu wählen sollten. Aber darüber hinaus sollten Unternehmen:

  • Workshops für Mitarbeiter abhalten, um die Einführung von Big Data sicherzustellen.
  • Den Technologie-Stack sorgfältig auswählen.
  • Auf Kosten achten und ein zukünftiges Upscaling planen.
  • Daran denken, dass Daten nicht zu 100% genau sind, aber dennoch ihre Qualität verwalten.
  • Tief und weit für umsetzbare Einblicke graben.
  • Die Sicherheit von Big Data nie vernachlässigen.

Und wenn Ihr Unternehmen diesen Tipps folgt, hat es eine gute Chance, die „beängstigende“ Sieben zu besiegen.

Big Data ist der nächste Schritt zu Ihrem Erfolg. Wir helfen Ihnen, den richtigen Ansatz zu finden und volles Potenzial von Big Data zu entfalten.

Ähnliche Beiträge

Vergraben unter Big Data: Sicherheitsprobleme, Herausforderungen, Bedenken
Schmutzig, sauber oder sauber genug: Wie hoch ist die Qualität von Ihrem Big Data?
Big Data: "Highway to Hell" oder "Stairway to Heaven“? Untersuchen wir Big-Data-Probleme

Fragen Sie uns

Sending the message ...

0/511

Informationsaustausch

In Übereinstimmung mit den Vorschriften der Datenschutz-Grundverordnung (DSGVO) werden Ihre persönlichen Daten 10 Jahre lang auf Servern in den USA gesammelt und gespeichert. Nach Ablauf dieser Frist werden Ihre Daten gelöscht. Wir teilen Ihre Informationen mit unserem Entwicklungszentrum, wo sie verarbeitet werden. Das Zentrum befindet sich unter folgender Adresse: Weißrussland,  Minsk, Leanida Biady Straße 2. In unserer Zentrale und in unserem Entwicklungszentrum erfüllen wir die Sorgfaltspflichten im Umgang mit Ihren Informationen, die gemäß DSGVO gesetzlich vorgeschrieben sind. Weitere Informationen finden Sie in unserer Datenschutzerklärung.