Diese Website nutzt Cookies, um bestmögliche Funktionalität bieten zu können. Mehr Infos
Hinter den Kulissen von capella wave kit

Hinter den Kulissen von capella wave kit

Hallo, mein Name ist Christian Schauß. Ich bin 36 Jahre alt und der Autor der Programme capella wave kit und capella melody trainer. Ich möchte Ihnen heute kurz erzählen, wie ich zu capella-software kam und ein paar Einblicke geben, vor welchen Herausforderungen eine Software wie capella wave kit steht.

Wie ich zu capella-software kam

Nach meinem Informatikstudium mit Schwerpunkten und Nebenfächern Biologie, künstliche Intelligenz und Mathematik arbeitete ich zunächst einige Jahre in der Industrie bei einem Unternehmen, das sich mit Roboter-Lösungen beschäftigt. Parallel dazu machte ich hobbymäßig eine Menge Musik (Klavier, Geige, Bratsche) und stand dabei immer wieder vor der Herausforderung, ein Stück oder einen Song nach Gehör aufzuschreiben. Und da dachte ich mir irgendwann: Verflixt, da müsste der Rechner doch helfen können – das war die Geburtsstunde von capella wave kit.

Die Anfänge von capella wave kit

Ich fing also an, im Nachhinein betrachtet relativ naiv, dem Rechner das Analysieren von Audiodateien beizubringen. Ich erprobte bestehende Algorithmen, versuchte eigene Ideen, kombinierte beides … Es war eine unheimlich spannende Materie. Und das Spannendste daran war eigentlich, dass ich, je länger ich mich mit der Sache beschäftigte, einen unglaublichen Respekt vor dem eigenen menschlichen Gehör bekam bzw. dem Gehirn, das dahintersteckt. Es ist unglaublich, was da analysetechnisch alles passiert, und zwar so gewohnt-natürlich, dass man es normalerweise gar nicht merkt.

Das Problem mit den Obertönen


Künstlich erzeugter Ton „c“, in der Frequenzansicht von capella wave kit

Wenn ein einziger Ton erklingt, besteht dieser in Wirklichkeit aus einer Vielzahl von „Tönen“ (Obertönen), die seine Klangfarbe ausmachen – sichtbar im Spektrogramm:

 


Derselbe Ton, dargestellt als Tonteppich

 

 

Daraus erzeugt capella wave kit in seinem „Tonteppich“ brav einen einzelnen Ton, es eliminiert also die Obertöne:

 

Schon schwieriger wird es, wenn zwei Töne zugleich erklingen, hier am Beispiel einer Terz (siehe rechts im Bild):


Von links nach rechts: Ton „c“, „e“ und „c + e“ (Frequenzansicht)

Hier muss capella wave kit aus dem „Oberton-Gewusel“ die ursprünglichen beiden Grundtöne herausfinden, was es auch ohne Probleme schafft:


Das Gleiche im Tonteppich

Je mehr Töne gleichzeitig erklingen, umso schwieriger wird die Zerlegung des Obertonmusters in seine Grundtöne – und das Hauptproblem dabei ist: Sie ist nicht eindeutig. Paradoxerweise wird die Mehrdeutigkeit umso größer, je harmonischer ein Akkord klingt – denn harmonische Intervalle zeichnen sich dadurch aus, dass sich ihre Obertöne überlappen. Das „schwierigste“ Intervall ist die Oktave, da überlappt sich jeder zweite Oberton (siehe rechts im Bild):


Von links nach rechts: Ton „C4“, „C5“ und „C4 + C5“ (Frequenzansicht)

 


Das Gleiche im Tonteppich

Hier schließt capella wave kit auf zwei Oktavtöne, weil im Muster des Gesamtklangs jeder zweite Oberton lauter ist als die anderen. Im Prinzip könnte der Klang aber auch als ein einziger Ton (das tiefere C4) gedeutet werden, der diese spezielle Oberton-Charakteristik einfach als Klangfarbe mitbringt! Und Sie wissen ja wahrscheinlich aus eigener Erfahrung, dass es auch für Sie als Mensch sehr schwierig ist zu sagen, ob man z.B. am Klavier zwei Oktavtöne hört oder einen einzelnen Ton.

Analyse einer echten Aufnahme

Tja, und wenn man dann eine echte Aufnahme nimmt, wo ein ganzes Orchester/Band spielt und noch jemand dazu singt, dann wird’s richtig kompliziert:


Pop-Song mit Band und Sologesang (Frequenzansicht)

Das Problem ist nicht nur die Vielzahl der (Ober)töne, sondern auch deren zeitlicher Verlauf: (Ober)töne fließen ineinander, wo beginnt der eine, wo hört der andere auf? Und hinzu kommt bei Gesang, dass dieser den Zusammenhang der „darunter“ liegenden Begleittöne oft verdeckt bzw. „verschmiert“.

Erkennung Ton für Ton und ganzheitlich

Als Konsequenz kam mit capella wave kit 2 die Idee der ganzheitlichen Erkennung auf: Ton für Ton erkannt werden hier lediglich Melodie und Basslinie, der „schwierige Rest“ (Begleitung) wird über die Erkennung der Akkordharmonik und spezielle rhythmische Muster generiert – diese ganzheitliche Erkennung arbeitet also auch bei komplexem Musikmaterial wie Pop-Songs recht robust.

Die „alte“ Ton-für-Ton-Erkennung aus capella wave kit 1 ist weiterhin verfügbar und hat auch nach wie vor ihre Berechtigung (z.B. bei einfacher, „durchsichtiger“ Musik).

Direkter Eingriff in Audioaufnahmen

Nachdem capella wave kit aus dem Obertonmuster den Tonteppich generiert hat, weiß es, welcher Oberton zu welchem Ton gehört – dadurch ist ein tonbasierter Eingriff in das Audiomaterial möglich, wofür ich mir in capella wave kit die grafischen „Box-Elemente“ ausgedacht haben, die man über die Töne legen kann:


Tonteppich von Vivaldis „Frühling“, mit Verzierungen per Boxen

Sehr schnell gelingt es daher, einfach ein paar „Verzierungen“ einzubauen (siehe Bild). Ich möchte ja hier im Blog keine Werbung machen, aber wenn Sie Lust haben, können Sie sich einfach mal die kostenlose Demoversion herunterladen und „Verzierungs-Komponist“ spielen, indem Sie Ihre eigene Lieblingsmusik umgestalten (Einschränkung Demoversion: 40 Sekunden Länge).

Hier ein lustiges Beispiel aus Vivaldis Frühling:

Original:

Mit Verzierungen:

Viel Spaß dabei und herzliche Grüße,

Christian Schauß

26. November 2014, von Christian Schauß

Kommentare