Auswertung tonica Turing Test
1950 entwickelte der berühmte Informatiker Alan Turing einen Test, in dem eine Person herausfinden sollte, ob sich hinter einem System ein Mensch verbirgt oder nur die Computersimulation eines Menschen. Falls er oder sie nicht dazu in der Lage ist, kann das betroffene System als intelligent bezeichnet werden. Dieser Test war zunächst nur eine theoretische Skizze, die erst später, nachdem die Künstliche Intelligenz als Teilbereich der Informatik zu einem eigenständigen akademischen Fachgebiet geworden war, genauer und konkreter ausformuliert wurde.
Unsere Software tonica fugata hat den Harmonisierungsstil von J. S. Bach aus seinen Choralkompositionen mit Hilfe neuronaler Netze, einem Verfahren der Künstlichen Intelligenz, gelernt. Durch Verwendung des gelernten musikalischen Wissens erzeugt tonica neue Choralkompositionen für Melodien, die es zuvor noch nicht gesehen hat.
Die Aufgabe beim tonica Turing Test besteht darin, für eine Menge von zehn Chorälen herauszufinden, ob diese von Bach oder von tonica fugata komponiert wurden. Der Turing Test ist online durchführbar (keine Registrierung erforderlich):
Hier gehts zum tonica Turing Test...
Der tonica Turing Test wurde in einem Zeitraum von ca. zweieinhalb Wochen (21.9.-8.10.2018) anonymisiert durchgeführt mit Kunden von capella-software, bei denen musikalische (Grund-)Kenntnisse vorausgesetzt werden können.
In dem genannten Zeitraum wurde der Test 835-mal durchgeführt. Bei 258 Tests wurden alle zehn Choräle bewertet, bei den übrigen Versuchen brachen die Teilnehmer den Test vorzeitig ab.
Die Trefferquote der Teilnehmer, d. h. die Anzahl der Bach bzw. tonica fugata richtig zugeordneten Choräle lag im Durchschnitt bei 62%. Eine Trefferquote von 100% bedeutet, dass alle Choräle richtig zugeordnet wurden und der Test gescheitert ist. Eine Trefferquote von 50% ist gleichbedeutend mit einem „zufälligen Raten“ der Teilnehmer und damit einem erfolgreichen Turing Test.
Interessant ist es, die Trefferquote der Teilnehmer zu vergleichen, die den Test vollständig durchgeführt haben, mir der der Teilnehmer, die ihn vorzeitig abgebrochen haben:
Während erstere 70% der Choräle richtig zugeordnet hatten, lag die Trefferquote der letzteren bei 52%, also nur knapp über zufälligem Raten. Es lässt sich vermuten, dass die Teilnehmer, die den Test vollständig durchgeführt und damit ein größeres Interesse an dem Test gezeigt haben, auch ein größeres Vorwissen mitbringen.
Hier die Ergebnisse für die Choräle im Einzelnen:
Man erkennt, dass zwei Bach-Choräle (Nr. 3 und 6) mehrheitlich für Computerkompositionen gehalten wurden. Alle anderen Choräle (darunter alle tonica-Choräle) wurden mehrheitlich richtig zugeordnet.
Der tonica-Choral, der am ehesten für Bach gehalten wurde, ist die Nr. 2. Es handelt sich um einen Choral zur Melodie „Herr, ich denk‘ an jene Zeit“. Nachfolgend zunächst der von tonica fugata komponierte Choral, dann das Original von Bach:
Zusammenfassend lässt sich feststellen, dass der tonica Turing Test für Teilnehmer mit geringerem Vorwissen (fast) erfolgreich war, d. h. die Teilnehmer waren nicht in der Lage, „Original“ und „Computerkomposition“ voneinander zu unterscheiden. Bei Teilnehmern mit größerem Vorwissen zeigte sich, dass die Unterschiede zwischen originalen und computergenerierten Kompositionen immer noch mehrheitlich erkennbar waren, d. h. die Kompositionen zeigen Merkmale, anhand derer sie sich von Personen mit entsprechendem musikalischen Vorwissen als Originale bzw. Computerkompositionen erkennen lassen.
Nutzen Sie die Möglichkeit und führen Sie den tonica Turing Test selbst durch, um Ihr Wissen zu prüfen!