Bildähnlichkeitssuche

Funktionsweise

Funktionsweise

Verfahren zur Dokumentenklassifikation basieren heute durchweg auf Maschinellen Lernverfahren. Dabei wird eine Trainings-Stichprobe von Dokumenten benötigt, welche manuell mit einer oder mehreren Kategorien annotiert sind. Zur Vorbereitung werden die Dokumente in Sätze und einzelne Wörter zerlegt. Beim Training ermitteln die Klassifikationsverfahren den statistischen Zusammenhang der Worte mit den annotierten Kategorien und erstellen ein Modell, welches die Wahrscheinlichkeit der Kategorien des Dokuments aus den Worten errechnet. Mit diesem Klassifikationsmodell können dann neue Texte klassifiziert werden.
Es gibt eine große Anzahl unterschiedlicher Klassifikationsverfahren. Dabei kann nicht nur der Inhalt eines Dokuments sondern auch beispielsweise dessen Genre klassifiziert werden. Wichtig ist, dass sich die Zusammensetzung der Trainingsdaten nicht wesentlich von den Eigenschaften der zu klassifizierenden Dokumente unterscheidet. Die Klassifikationsgenauigkeit hängt auch von der verwendeten Klassifikationshierarchie ab, da sich bei sehr vielen Klassen häufig unscharfe Abgrenzungen ergeben. Typischerweise erreicht man bei einigen hundert Klassen Genauigkeiten von 80% bis 95%. Neuere Ansätzen verbessern die Genauigkeit durch die Verwendung von zusätzlichen Merkmalen, welche durch die statistische Analyse großer, nicht-annotierter Textsammlungen gewonnen werden können (z.B. Topic Models und Deep Learning).

Nutzungspotentiale und Einsatzgebiete

Erschließung von textuellen Archiven; Suche nach Dokumenten zu einer inhaltlichen Kategorie; Suchfunktionalität für Archivare, Redakteure, Nutzer von Mediatheken; Analyse von Diskussionsseiten und Foren nach inhaltlichen Kategorien; Identifikation von beleidigenden/radikalen Beiträgen

Referenzen

• Deutsche Digitale Bibliothek: http://www.iais.fraunhofer.de/ddb.html Kategorisierung von Inhalten.
• Überregionale Deutsche Tageszeitung: Kategorisierung unangemessener Inhalte in Benutzerforen.

Anbieter

• Fraunhofer IAIS (http://www.iais.fraunhofer.de/smartsemantics.html) Dr. Dirk Hecker (Dirk.Hecker@iais.fraunhofer.de, 02241-14 1509)

Musikanteilsmessung

Funktionsweise

Mit dem Algorithmus zur automatischen Musikanteilsmessung bietet das Fraunhofer IDMT eine effektive Lösung zur exakten Aufzeichnung von Musik- und Sprachanteilen zur Optimierung von Radio- und TV-Programmen und zur gerechten Abrechnung für Rechteverwerter und Anbieter.

Arbeits- und Zeitersparnis
Dank des neuen Fraunhofer-Softwaretools ist eine manuelle Ermittlung von Musikanteilen nicht mehr notwendig. Arbeits- und zeitintensive Auswertungen von Inhalts- und Programmlisten gehören somit der Vergangenheit an. Die trainierten und typischen Audiokategorien wie Musik, Sprache (Wortbeiträge), Musik und Sprache sowie Stille werden automatisch im Sendungsverlauf oder innerhalb einer Datei zeitlich ermittelt.

Hohe Genauigkeit
Je nach Einsatzgebiet oder konkreter Verwendung kann ein Erkennungsraster zwischen mehreren Sekunden und 100 Millisekunden gewählt werden, um z. B. statistische Normalisierungen auszunutzen.

Einfache Integration
Die automatische Musikanteilsmessung setzt auf eine skalierbare Integration in Standard-Workflows und Komponenten. Das System ist für den Einsatz in der Produktion, im Live-Betrieb sowie bei Aufzeichnungen – online wie offline – geeignet.

Unkomplizierter Export
Das Softwaremodul kann in vorhandene Content-Management-Systeme integriert werden. Dabei erfolgt die Datenausgabe wahlweise in XML-Dateien, CUE-Sheets oder anderen standardisierten Exportformaten.

Nutzungspotentiale und Einsatzgebiete

• Reporting: zertifizierte Musikanteilsmessung für Verwertungsgesellschaften
• Monitoring: Optimierung der Musikanteile von Programmen und Beiträgen
• Copyright: Filterung von Musikanteilen vor einer ressourcen-intensiven Abfrage von Titelinfos

Referenzprojekte

• BR, HR, NDR Musikanteilsmessung

Anbieter und Ansprechpartner

• Fraunhofer IDMT (http://www.idmt.fraunhofer.de/m2d) – Steffen Holly (Telefon: +49 3677 467 – 190, sholly@idmt.fraunhofer.de )

Qualitätsprüfung – Automatisierte Erkennung von Fehlern und Qualitätsproblemen in A/V-Material

Funktionsweise

Mit Verfahren der digitalen Signalanalyse können vielfältige Informationen automatisiert aus audiovisuellen Inhalten gewonnen werden. Hierbei werden die decodierten Inhalte direkt auf Signalebene (base-band: Pixels bzw. Samples) analysiert. Es kann eine Vielzahl von technischen und inhaltlichen Parametern, Fehlern oder Qualitätsproblemen ermittelt werden. Auf dieser Grundlage können Lösungen für die automatische Qualitätsprüfung (QC: Quality Control) realisiert werden. Die am Fraunhofer IDMT entwickelten QC-Komponenten sind vielfältig in den Bereichen Broadcasting, Multimedia und digitale Archive einsetzbar.

Typische Qualitätsprobleme, die während des Produktionsprozesses oder auch bei der Übertragung auftreten können, sind z. B. Kodierartefakte wie Blocking oder Ringing, Unschärfe, Rauschen, Black Bars, Freezes, Mono-in Stereo, Clipping usw. Das decodierte A/V-Material wird frameweise untersucht und es werden Messwerte bzw. Qualitätsparameter für jede Fehlerklasse ermittelt. Ausgehend vom detektierten Auftreten einzelner Fehler und insbesondere aus dem kombinierten Auftreten verschiedener Fehlerarten können Rückschlüsse auf die Gesamtqualität des Materials gezogen werden. So ist bspw. eine intuitive Ampeldarstellung (rot/gelb/grün) der Qualität realisierbar. Je nach Anwendungsfall können vollautomatische oder auch teilautomatische (assisted) Prozesse für die Qualitätsprüfung aufgesetzt werden. Es können Fehlerberichte in gewünschtem Detailgrad generiert werden.

Die Qualitätsprüfung aus Signalebene (base-band Analyse) ergänzt die Container-Analyse und die Stream-Analyse und ermöglicht so die sehr detaillierte und effiziente Untersuchung des A/V-Materials.

Das Fraunhofer IDMT entwickelt und liefert Analysekomponenten für verschiedenste Fehlerarten. Das modulare Analysekonzept ermöglicht kundenspezifische Lösungen und auch die Detektion von sehr speziellen Fehlern und Qualitätsproblemen.

Nutzungspotentiale und Einsatzgebiete

Die automatisierte Prüfung von A/V-Material kann an verschiedensten Stellen im Produktionsprozess nutzbringend angewendet werden:

• Eingangskontrolle beim Ingest: automatische Zurückweisung oder Unterstützung der manuellen Prüfung durch Identifizierung potentiell problematischer Abschnitte
• Prüfung während der Produktion: Erkennung typischer Fehler beim Schnitt, z. B. Black Frames oder Testpattern/Test Tones, Formatfehler usw.
• Ausgangskontrolle, Encoding/Transcoding: Erkennung von Kodierungsfehlern, Prüfung auf Konformität zu Standards und Regularien

Referenzprojekte

• A/V Analyzing Toolbox: http://www.idmt.fraunhofer.de/qc
• DVBcontrol: http://www.dvbcontrol.com/

Anbieter und Ansprechpartner

• Fraunhofer IDMT (http://www.idmt.fraunhofer.de/m2d) – Steffen Holly (Telefon: +49 3677 467 – 190, sholly@idmt.fraunhofer.de )

Bilder

Soundslike 2.0 – Automatische Annotationen & Empfehlungen für Musik

Funktionsweise

Das Fraunhofer IDMT als Pionier im Bereich MIR (Music Information Retrieval) beschäftigt sich seit seiner Gründung mit der automatischen Extraktion von musikalischen Eigenschaften. Diese werden aus den gewonnenen akustischen und physikalischen Features der Musik in verständliche und allgemein gültige Beschreibungen übersetzt, die als zusätzliche Metadaten in Archiven und Musiksammlungen eingetragen werden können.

Dazu zählen u. a.: Style, Genre, Emotion, Valence, Arousal, Mood, MusicColor, MusicTexture, Tempo, Distortion, Dynamic, Percussive, Synthetic, Instrument.

Für die visuelle Unterstützung beim Auffinden der richtigen, passenden Songs oder Teilen von Werken können die Dateien automatisch segmentiert werden, z.B. in Strophe und Refrain.

Als Ergebnis wird eine Ähnlichkeitsmatrix für alle enthaltenen Titel ermittelt, wonach aus dem entsprechenden Konfidenzwerten Playlisten mit ähnlicher Musik erstellt werden können. Zusätzlich können ganze Alben oder Künstlerportfolios an Hand ihrer musikalischen Eigenschaften miteinander verglichen werden.

Das ganze System der inhaltsbasierten Empfehlung ist für den hybriden Einsatz optimiert, d.h. für die Individualisierung von Lösungen können existierende Metadaten oder gesammelte Nutzerdaten (Hörprofile inkl. Titel-IDs) bzw. Daten aus sozialen Netzwerken hinzugefügt und eventuell als Filter benutzt werden.

Außerdem ist es möglich, die komplette Umgebung auf neue Zielgruppen oder Inhaltsgruppen zu trainieren, um z.B. neue oder exotische Genre in bestimmten Regionen oder Produkten besser abzudecken. Dafür wird ein spezielles Training mit Referenz- und Kontrollgruppen der zu verbessernden Inhalte benötigt.

Der Algorithmus ist für alle Betriebssysteme optimiert, ist als Server- und Desktopversion erhältlich und sklalierbar für Archive mit einer 7-stelligen Anzahl an Titeln.

Nutzungspotentiale und Einsatzgebiete

• Musik- und Audio-Archive: automatische Beschreibung von Musik für relevante Suche nach Stichworten (musikalische Merkmale)
• Musikproduktion: automatische Zusammenstellung von ähnlichen Stücken für die Nachvertonung auf Basis inhaltlicher-musikalischer Eigenschaften unter Einbeziehung vorhandener Tags oder Schlagworte (in-Haus Datenbanken)
• Musikprogramme: automatische Erstellung von Playlisten inhaltlich passender Musik als Vorschlag unter Einbeziehung eigener Metadaten (Filter für eigene Genre-Matrix u. ä.)

Referenzprojekte

• Aupeo, Red Bull Mediahouse, Creative Network Design u. a.

Anbieter und Ansprechpartner

• Fraunhofer IDMT (http://www.idmt.fraunhofer.de/m2d) – Steffen Holly (Telefon: +49 3677 467 – 190, sholly@idmt.fraunhofer.de )

LOD2 Linked Data Stack – Vernetzung und Integration heterogener Informations- und Datenquellen

Funktionsweise

Medienarchive müssen mit einer Vielzahl weiterer heterogener Informations- und Datenquellen (andere Archive, Aggregatoren, Taxonomien/Thesauri, Geodaten) vernetzt werden. Das Linked-Data-Konzept bietet dafür ein umfassendes konzeptuelles und technologisches Rahmenwerk. Die Linked-Data-Prinzipien bauen auf den langjährig etablierten W3C-Standards RDF, RDF-Schema und OWL auf. Die Grundidee ist, jeden Daten- bzw. Metadateneintrag mittels einer URI weltweit eindeutig zu identifizieren und Informationen entsprechend in RDF-Statements zu repräsentieren. Mit dem LOD2 Linked Data Stack steht eine reife Technologieplattform für Transformation/Mapping, Publikation, automatisierte Verlinkung, Kuratierung und Exploration von Linked Data zur Verfügung. Im Ergebnis können Linked-Data-basierte Archive leicht mit weiteren Informationsquellen verknüpft werden, semantische facetten-basierte Suche erleichtert das Retrieval und Metadaten können mit umfassenden Zusatzinformationen aus öffentlichen (und internen) Quellen angereichert werden.

Nutzungspotentiale und Einsatzgebiete

• Daten-Integration in und zwischen Medienarchiven
• Nutzung von Hintergrundwissen aus der Linked Open Data Cloud (z.B. DBpedia)
• automatische Verschlagwortung und Verlinkung
• semantische Strukturierung von multimedialen Inhalten
• semantische, facetten-basierte Suche

Referenzprojekte

• Semantische Informationsflüsse beim Verlag WoltersKluwer
• Nutzung des Linked Data Stack bei Daimler AG
• EU Datenportal open-data.europa.eu und EU Projekt LOD2

Anbieter und Ansprechpartner

• Fraunhofer IAIS (http://www.iais.fraunhofer.de/diensteplattform-technologien.html) – Sören Auer (Telefon: 02241 14-1915)

Bilder

Name

DDR-Tageszeitungen der Staatsbibliothek zu Berlin

Projektart

Forschung/Anwendung

Auftraggeber

DFG

Laufzeit/Jahr

2012

Auftragnehmer

Staatsbibliothek zu Berlin, Fraunhofer IAIS, ArchivInForm

Kurzbeschreibung

Das von der DFG geförderte Projekt digitalisiert und erschließt semi-automatisch drei DDR-Tageszeitungen (Neues Deutschland, Berliner Zeitung, Neue Zeit) mit allen Ausgaben von 1946-1990. Gut 400.000 Zeitungsseiten werden dabei gescannt, Scan- und Bildfehler automatisch korrigiert und für die Erschließung zur Verfügung gestellt. Über eine Artikelsegmentierung werden Überschriften, Unterschriften und Artikelblöcke erkannt und auf Artikelebene gruppiert. Dabei werden im automatischen Schritt bereits sehr gute Ergebnisse erzielt. Eine OCR erkennt den Text im Bild und stellt die Artikel als Volltext zur Verfügung. In einer manuellen Nachbearbeitung werden die automatischen Ergebnisse optimiert und anschließend in ein gängiges Austauschformat konvertiert. Die so erschlossenen Ausgaben werden über eine Webseite abrufbar und durchsuchbar sowie zusätzlich als PDF mit Volltext bereitgestellt.

Eingesetzte Technologien

Automatische Scan-/Bildkorrektur, Artikelsegmentierung (Optical Layout Recognition, OLR), optische Zeichenerkennung (Optical Character Recognition, OCR), Artikelarchivexporter (für METS/MOTS/ALTO)

Nutzungspotentiale und Einsatzgebiete

Digitalisierung und Erschließung von Zeitungsarchiven; Verbesserter Zugriff auf Archivinhalte (Durchsuchbarkeit); Redaktionelle Suche; Erstellung kultureller/historischer Sonderausgaben; Recherchesystem für Historiker

Webseiten/Links

• http://www.iais.fraunhofer.de/zeitungserschliessung.html
• http://zefys.staatsbibliothek-berlin.de/ddr-presse
• http://www.heise.de/newsticker/meldung/Berliner-Staatsbibliothek-digitalisiert-DDR-Tageszeitungen-1812537.html

Ansprechpartner

• Fraunhofer IAIS – Ulrich Wernecke  (Telefon: 02241 14 2530)
• ArchivInForm, Staatsbibliothek zu Berlin

Ansprechpartner im Medienunternehmen

Dr. Lieder (Email)

Bilder

Galileo Videolexikon

Projektart

Anwendung

Auftraggeber

SevenOne Intermedia / ProSiebenSat.1 Media AG

Laufzeit/Jahr

2011

Auftragnehmer

Fraunhofer IAIS

Kurzbeschreibung

Für das Galileo Videolexikon wurden automatisch die Galileo-Archivbestände mit Audiomining-Technologie erschlossen, um für Endanwender einen verbesserten Zugriff auf die Inhalte zu erreichen. Die Erschließung ermöglicht die Suche und direkte zeitliche Anwahl von Suchtreffern im gesprochenen Wort aller Galileo-Videos. Eine zusätzlich erzeugte Tag-Cloud der wichtigsten Wörter im gesprochenen Inhalt bietet eine zusätzliche Navigationsmöglichkeit durch die Inhalte.

Eingesetzte Technologien

Audiomining, Spracherkennung (LINK), Keywordextraktion (LINK)

Nutzungspotentiale und Einsatzgebiete

Erschließung von audiovisuellen Medien; Verbesserter Zugang zu Videoinhalten über erweiterte Such- und Navigationsfunktionalität

Webseite

• http://www.iais.fraunhofer.de/galileo-videolexikon.html
• http://www.galileo-videolexikon.de

Ansprechpartner

• Fraunhofer IAIS – Angelika Pauer (Telefon: 02241 14 2186)
• Ansprechpartner im Medienunternehmen: Manuel Seipolt (email)

Bilder

Layout-Analyse: Artikelsegmentierung von digitalisierten Zeitungsseiten

Funktionsweise

Bei der Artikelsegmentierung werden Zeitungsseiten automatisch in einzelne Artikel zerlegt. Jeder Artikel wird mit den genauen Koordinationsdaten gespeichert. Im Fall von z.B. Zeitungen werden dann XML-Beschreibungen der logischen und physischen Struktur von Dokumenten auf der Ebene von Artikeln erzeugt. Damit steht jeder Artikel als einzelnes Asset und Datenendpunkt zur Verfügung.
Da eine 100% Artikelsegmentierungsgenauigkeit nicht möglich ist, werden häufig manuelle Nacherarbeitungsschritte und -tools verwendet. Trotz des manuellen Nachverarbeitungsaufwands wird durch die automatische Artikelsegmentierung der Aufwand um den Faktor 5 verringert.

Nutzungspotentiale und Einsatzgebiete

Erschließung von Zeitungsseiten; Archive in Bibliotheken; Zeitungs- und Zeitschriftenverlage; Unterstützung der redaktionellen Suche; Einfache Erstellung von Zeitungs-Sonderausgaben (Jubiläumsausgaben, Jahresrückblicke, chronologische Themendossiers, etc.)

Referenzprojekte

• Zeitungsarchiv der Staatsbibliothek zu Berlin.
• …

Anbieter und Ansprechpartner

Fraunhofer IAIS (http://www.iais.fraunhofer.de/diensteplattform-technologien.html) – Dr. Stefan Eickeler (Telefon: 02241 14 1969)

Bilder

AXES – Access to Audiovisual Archives

Projektart

Forschung

Auftraggeber

EU

Laufzeit/Jahr

Januar 2011 – Dezember 2014

Projektpartner

ERCIM (FR), Katholieke Universiteit Leuven (BE), University of Oxford (UK), INRIA (FR), DCU (IE), Fraunhofer IAIS (DE), Universiteit Twente (NL), BBC (UK), Beeld En Geluid (NL), Deutsche Welle (DE), technicolor (FR), Cassidian (FR), Erasmus Universiteit Rotterdam (NL)

Projektinhalt

Ziel von AXES ist die Entwicklung von Werkzeugen zur Annotation und Aufbereitung von audio-visuellen Datenbeständen und Archiven. Hierbei kommen verschiedene Technologien zur Erschließung, Verknüpfung und Suche zum Einsatz. Neben der Audiomining-Technologie zur Indizierung und Suche im gesprochenen Wort, können z.B. auch Konzepte im Video oder ähnliche Bilder zu einem Beispielbild gesucht werden.
Durch eine Verbindung der verschiedenen Modalitäten und eine intelligente Verknüpfung werden weitere innovative Such- und Navigationsmöglichkeiten untersucht und entwickelt, um den Zugriff auf und die Verwertung von großen Medienbeständen zu verbessern. Für unterschiedliche Anwendungen und Anwender sollen jeweils optimierte Zugriffsmöglichkeiten vom unterstützten „Durchstöbern“ über geführte Navigation bis hin zur gezielten multimodalen Suche erforscht und bereitgestellt werden.

Eingesetzte Technologien

Audiomining, Audiosegmentierung (LINK), Videosegmentierung in Shots (LINK), Face-Recognition (LINK), Video-Konzepterkennung (LINK), Bildähnlichkeitssuche (LINK)

Nutzungspotentiale und Einsatzgebiete

Erschließung von audiovisuellen Archiven; Such- und Navigationsfunktionalität für Archivare, Redakteure, Wissenschaftler, Endanwender, etc.; Verknüpfung und Empfehlung ähnlicher Inhalte

Webseite

http://www.axes-project.eu

Ansprechpartner

Fraunhofer IAIS (http://www.iais.fraunhofer.de/axes.html) – Jochen Schwenninger (Telefon 02241 14-2062)

Ansprechpartner im Medienunternehmen

Deutsche Welle (Peggy van der Kreeft , Email)

Bilder