Open AudioSearch
Speech-to-Text Toolkit für Freie Wissensinitiativen

Open AudioSearch

Förderjahr 2020 / Project Call #15 / ProjectID: 5198

Wir sind von

Wir wollen Zugang für Zivilgesellschaft zu Informationsgewinnung aus Audio in Ö schaffen. Gemeinnützige Anbieter_innen von Audio/audio-visuellen Inhalten in Österreich. Dh Pod/Videocasts von zB journalistischen Projekten, Medienarchive, Open GLAM- oder Bildungsinitiativen.

Viele lokale Ereignisse sind oft nur in zivilgesellschaftlichen Medien/öffentliche Archive dauerhaft dokumentiert, CBA enthält 110k Podcasts mit lokalen ö. Inhalten, Citizenscience stützt sich bes auf solche Quellen. OpenAudioSearch (OAS) ist eine Open Source Audio Search engine, die Speech2Txt umwandelt für das Verschlagworten und Durchsuchen von Audio&Video- Inhalten und den Betrieb von Recommender-Systemen.

Audio-Inhalte können nicht mit Suchmaschinen durchsucht werden, weil Suchmaschinen nur geschriebenen Text verstehen. Proprietäre Speech2Txt Angebote sind teuer, Open Source ("OS") Lösungen kompliziert selbst zu betreiben und erfordern Know-how. Zugang ist zivilgesellschaftlich schwer zu organisieren.

Audiofiles werden mit Speech2Txt in Transkripte umgewandelt. Mit NLP wird Information extrahiert, in einer Search Engine indiziert und als Suchergebnis oder Recommendation angezeigt. Die UI zeigt Ergebnisse im Player an der richtigen Stelle an, via API ist die Anbindung anderer Services an OAS möglich. Fertige Pakete werden z.B. via Docker zur einfachen Selbstinstallation bereitgestellt.

Themengebiet

Automatisierung/ machine learning

Technologie

AI | KI
,
Audio | Video

Projektergebnisse

Endbericht CC-BY-SA
Entwicklerdoku CC-BY-SA
Anwenderdoku CC-BY-SA
User Guide.pdf
1008.88 KB
Summary CC-BY-SA
Website

Beginn des Testbetriebs. Hardware für Trainings- und Evaluationspipeline ist eingerichtet, ASR-Pipeline ist an den OAS-Core angebunden.

Code AGPL 3.0

Development von OAS geht Open Source

Code AGPL 3.0

NLP liefert automatisches Tagging der Keyword-Extraction mit Abgleich zu eigener und externer Knowledge-Base.

Code AGPL 3.0

Testdaten und Trainingssamples für ASR sind aufbereitet. Evaluationspipeline läuft in OAS integriert.

Code AGPL 3.0

Python-Client für die OAS-API ist entwickelt, Javascript-Client für die OAS-API ist entwickelt und in OAS-UI (Prototype-Fund) integriert

Server SW AGPL 3.0

ASR-Pipelines über OAS Core (AP5) mit Elasticsearch-Integration (Prototype-Fund) in ein Software-Paket integriert, Packaging als Docker-Paket.

Datenschutzinformation
Der datenschutzrechtliche Verantwortliche (Internet Privatstiftung Austria - Internet Foundation Austria, Österreich) würde gerne mit folgenden Diensten Ihre personenbezogenen Daten verarbeiten. Zur Personalisierung können Technologien wie Cookies, LocalStorage usw. verwendet werden. Dies ist für die Nutzung der Website nicht notwendig, ermöglicht aber eine noch engere Interaktion mit Ihnen. Falls gewünscht, können Sie Ihre Einwilligung jederzeit via unserer Datenschutzerklärung anpassen oder widerrufen.