Begriff
Big Data
Warum wichtig?
Dieser Begriff ist ein Knoten im SengakujiWorks-Wissensnetz. Nutze Level 0 für die erste Einordnung, Level 1 für Praxis, Level 2 für technische Struktur und Level 3 für Grenzen, Fallstricke und Expertenkontext.
Big Data bezeichnet Datenmengen, die so riesig und schnell sind, dass normale Computer sie nicht mehr verarbeiten können. Eine Excel-Tabelle mit 1000 Zeilen ist "Small Data". Alle Facebook-Likes, Google-Suchanfragen und GPS-Daten aller Handys dieser Welt in einer Sekunde – das ist Big Data.
Man sammelt diese Datenberge nicht zum Spaß, sondern um Muster zu finden:
- "Welche Produkte kaufen Leute, die Windeln kaufen?" (Bier! Kein Scherz).
- "Wo bildet sich in 10 Minuten ein Stau?"
Merksatz: Riesige Datenfluten, die analysiert werden, um versteckte Zusammenhänge zu erkennen.
Du produzierst jeden Tag Big Data:
- Schritte-App im Handy.
- Netflix Watch-History.
- Jeder Klick auf Amazon.
Unternehmen nutzen das für:
- Personalisierung: Netflix weiß, dass du Actionfilme magst, und zeigt dir genau die richtigen Vorschläge.
- Werbung: Google zeigt dir Werbung für Schuhe, weil du gestern nach "Wandern" gesucht hast.
- Medizin: Analyse von Millionen Patientendaten, um Nebenwirkungen von Medikamenten früher zu erkennen.
Die 3 (oder 5) Vs
Wie definiert man Big Data technisch?
- Volume (Menge): Terabytes bis Petabytes.
- Velocity (Geschwindigkeit): Daten kommen in Echtzeit rein (Streaming, IoT-Sensoren).
- Variety (Vielfalt): Nicht nur saubere Tabellen, sondern Videos, Texte, Bilder, Tweets (unstrukturiert). (4. Veracity (Wahrheit/Qualität), 5. Value (Wert))
Technologien (Hadoop & Spark)
Eine SQL-Datenbank (MySQL) bricht bei Petabytes zusammen. Lösung: Verteilte Systeme. Man speichert die Daten nicht auf einem Super-Computer, sondern zerhackt sie und verteilt sie auf 1000 billige Computer (Cluster). Frameworks wie Hadoop oder Apache Spark können diese 1000 Computer gleichzeitig rechnen lassen ("MapReduce"). Wenn Computer A ausfällt, übernimmt Computer B.
1. Data Lake vs. Data Warehouse
Früher speicherte man Daten in einem Data Warehouse. Die Daten (z.B. Verkaufszahlen) mussten komplett bereinigt, gefiltert und in ein starres Tabellenkorsett (ETL: Extract, Transform, Load) gepresst werden, bevor man sie ablegen durfte (Schema-on-Write). Für wirkliche Big Data nutzt man einen Data Lake. Hier werden Unmengen an Rohdaten (Bilder, Logs, JSON, PDFs) unstrukturiert ins kalte Wasser "gekippt". Erst wenn ein Data Scientist Jahre später Fragen an diese Daten hat, gibt er ihnen Struktur und Schema (Schema-on-Read / ELT). Günstig im Speicher, braucht aber viel Rechenkraft beim Abfragen ("Data Swamp" bei schlechter Pflege).
2. MapReduce (Das Hadoop Paradigma)
Wie durchsucht Google Exabytes an Text in Millisekunden? Mit MapReduce. Man kann nicht einen Riesenrechner bauen. Man muss das Problem teilen (Divide and Conquer).
- Map (Verteilen): Du gibst 10 kleinen Knoten jeweils 10 Bücher. Jeder Knoten zählt lokal, wie oft das Wort "Käfer" vorkommt.
- Reduce (Zusammenfassen): Die Knoten melden ihre Zahl zurück (
[1, 5, 0, ...]) an den Master-Node. Der summiert das Ergebnis auf. So wird das Berechnen mathematisch in kleine, unabhängige Pakete zerteilt, die parallel laufen (ohne auf Netzwerksynchronisation zu warten).
3. NoSQL und das CAP Theorem
Traditionelle relationale SQL-Datenbanken skalieren horizontal extrem schlecht, weil sie auf Datenkonsistenz fixiert sind. Big Data nutzt fast immer NoSQL-Datenbanken (MongoDB, Cassandra). Hier greift das CAP-Theorem: Ein System kann nur maximal zwei dieser drei Eigenschaften gleichzeitig haben:
- Consistency (Alle Server haben in exakt der gleichen Millisekunde den absolut gleichen Wert).
- Availability (Das System antwortet immer fehlerfrei auf eine Anfrage).
- Partition Tolerance (Das System läuft weiter, auch wenn die Hälfte der Server den Kontakt zum Rest verliert).
Um bei Big Data (die zwingend Partition Tolerance als Grundfakt ausweist) die Skalierung (Verfügbarkeit) zu retten, opfert man Konsistenz (
Eventual Consistency). Ein Facebook-Post deines Freundes in den USA ist vielleicht auf dem Server in Europa für die nächsten 2 Sekunden noch unsichtbar, aber das System bricht deshalb nicht zusammen.
Quick-Check
Ab wann spricht man von Big Data?
Es gibt keine feste Grenze (z. B. "ab 1 TB"). Es ist Big Data, wenn deine normale Software (Excel, MySQL) abstürzt oder zu langsam ist, um die Daten zu verarbeiten.Warum sind "unstrukturierte" Daten ein Problem?
Weil man Videos oder E-Mail-Texte nicht einfach in eine Tabelle packen und sortieren kann wie Zahlen. Man braucht KI, um sie zu verstehen.Wie hilft Big Data beim Stau-Vermeiden?
Google Maps analysiert die GPS-Bewegung von Millionen Handys gleichzeitig. Wenn sich viele langsam bewegen, erkennt das System "totes Muster = Stau" in Echtzeit.