Augmented Reality (AR)

• Handy (ARKit/ARCore): Pokemon Go, IKEA Place ("Passt das Sofa hierhin?").
• Headsets (HoloLens, Magic Leap): Für Chirurgen (Herz-Modell über Patient) oder Mechaniker (Reparatur-Anleitung über Motor).
• HUD (Head-Up Display): Im Auto (Tacho auf der Windschutzscheibe). Das ist primitive AR.

1. Tracking (6DoF)

Das schwerste Problem. Das Gerät muss seine Position (X, Y, Z) und Rotation (Pitch, Yaw, Roll) im Raum kennen. Und zwar mit < 1ms Latenz und < 1mm Fehler. Sonst "schwimmt" das virtuelle Objekt weg (Drift). Lösung: VIO (Visual Inertial Odometry). Kombination aus Kamera-Bildern (Feature Points) und Beschleunigungssensor (IMU).

2. Occlusion

Das nächste Level. Wenn eine echte Katze vor dem virtuellen Pokemon läuft -> Muss das Pokemon verdeckt werden. Dazu braucht das Gerät eine Tiefenkarte (LiDAR oder Stereo-Kamera) der Welt in Echtzeit.

1. SLAM (Simultaneous Localization and Mapping)

Wenn VIO (Visual Inertial Odometry) das Tracking deines Kopfes übernimmt, baut SLAM die semantische Welt um dich herum auf. Der Algorithmus muss gleichzeitig kartieren ("Da drüben ist ein Sofa") und sich selbst darin orten. Modernes SLAM nutzt Dense-Reconstruction: Statt nur Kanten und Ecken als Punktwolke (Sparse) zu speichern, generieren Tools wie Apple's RoomPlan API oder LiDAR-Pipelines sofort ein dichtes Mesh der Umgebung. Diese Meshes durchlaufen dann oft semantische Segmentierung, damit die AR-Engine nicht nur weiße Flächen sieht, sondern Objekte klassifizieren kann ("Boden", "Wand", "Tisch").

2. Rendering & Photon-to-Motion Latency

In der echten Welt bewegst du deinen Kopf, und das Licht trifft sofort in dein Auge. In der AR filmt die Kamera, ein DSP verarbeitet das Frame, der SLAM-Algorithmus justiert die Pose, die GPU rendert das 3D-Modell, und das Display leuchtet auf. Dauert dieser Zyklus (Photon-to-Motion Latency) länger als 20 Millisekunden, fängt das digitale Objekt an zu ruckeln ("Jitter") oder hinterherzuziehen ("Swim"). Das Gehirn bestraft dich sofort mit Motion Sickness. Die Lösung ist Asynchronous TimeWarp (ATW): Kurz bevor der Bildschirm gezeichnet wird, nimmt man den allerletzten aktuellen Tracking-Wert und "verbiegt" das fertige GPU-Bild minimal, um letzte Latenz-Millisekunden wettzumachen.

3. Illumination Estimation (Licht-Schätzung)

Das AR-Pokémon wirkt sofort künstlich ("Uncanny Valley"), wenn es einen eigenen Schatten wirft, der 90 Grad entgegengesetzt zum echten Lampenlicht im Zimmer fällt. Kamera APIs analysieren heutzutage das Videobild mit Convolutional Neural Networks, um die sphärischen harmonischen Koeffizienten des echten Raumlichts zu schätzen (Gibt es eine Deckenlampe? Sonnenlicht von links?). Die Game-Engine (Unity/Unreal) nutzt diese geschätzte Environment Map, um das digitale Objekt physikalisch korrekt mit exakt denselben Reflektionen und Schatten zu beleuchten, wie den echten Couchtisch.