Wie entsteht das erste Wort eines Kleinkindes? Um diese Frage zu beantworten, hat der Wissenschaftler Deb Roy vom MIT seine eigene Wohnung zu einem totalüberwachten Experimentierfeld gemacht. Um jede Äußerung, jede Interaktion seines kleinen Sohns mit anderen Personen dokumentieren zu können, und damit die allmähliche Evolution von bloßen Lauten zu Worten nachzuvollziehen, wurde in jedem Zimmer in der Decke eine Fisheyekamera samt Mikrofon angebracht, die 3 Jahre lang alles aufzeichneten, was sich in Roys Wohnung abspielte. Hier sein TED-Talk, in welchem er das Experiment und die Technik vorstellt:
Die Technik
Am Ende waren 200TB Daten mit 90.000 Stunden Video und 140.000 Stunden Audio zu sichten und zu analysieren. Um dieser Datenmenge Herr zu werden, und um die Daten sinnvoll zu visualisieren, nutzte und entwickelte das Forscherteam einige eindrucksvolle Technologien, die in dem Video gezeigt werden. Zum Beispiel zur Rekonstruktion des Raumes als 3D-Ansicht.
Oder um aus den Kameraaufnahmen und per Bewegungsanalyse eine mehrdimensionale Informations-Repräsentation (quasi Raum-Zeit-Spuren) aller Personen in Raum und in der Zeit zu schaffen.
Diese veranschaulicht, wer wann mit wem wo zusammen war und (nach einer teil-automatisierten Transkription aller Dialoge - 7 Millionen Worten) visualisiert was wo gesagt wurde. Anhand dieser Daten ist es möglich, z.B. eine Karte der Worthäufigkeiten in einem Raum zu erstellen.
Zur Sichtung der Daten wurde unter anderem das Tool TotalRecall entwickelt, ein A/V-Browser der spezialisiert darauf ist, vor allem Bewegungen in den bis zu 25 auswählbaren Videospuren zu visualisieren und diese in Zeitfenstern von wenigen Sekunden bis zu mehreren Jahren darzustellen. Mehr dazu und zu dem ganzen Versuch ist in diesem PDF nachzulesen.
Alles Techniken, die so oder ähnlich auch für manche Videoanwendungen verwendet werden könnten, z.B. bei Familienvideos oder Dokumentarfilmen mit Unmengen von Material, um Muster zu erkennen und besondere Szenen herauszufischen aus der Gesamtheit aller Aufzeichnungen. In einem größeren Maßstab können mit den von Roy eingesetzen Techniken - wie er vorführt - auch die Datenströme vieler TV-Kanäle analysiert und in den Zusammenhang mit Netzdiskussionen über diese Sendungen gebracht und visualisiert werden. Alles interessant für eine Meta-Analyse von Videoinhalten, vielleicht auch mal für die Generierung und sinnvolle Sichtbarmachung von erweiterten Video-Metadaten zur Organisation von vielen Rohvideodaten.
