Quelltext der Seite Sensorische Systeme/ Computermodelle/ Auditorisches System Simulation

{{:Sensorische_Systeme/ Vorlage:Navigation}}

== Computersimulationen des auditorischen Systems ==
===Arbeiten mit Audio===
Audiosignale werden in einer Vielzahl von Formaten gespeichert. Sie unterscheiden sich hauptsächlich in der verwendeten Kompression und Kodierung, welche offen oder proprietär sein kann. Auf Windows-Systemen ist das gängigste Format das WAV-Format ([[w: WAV]]). Es enthält einen so genannten Header mit Informationen über die Anzahl der Kanäle, die Abtastrate, die Bits pro Abtastung usw. Nach dem Header folgen die eigentlichen Audiodaten. Die gängigste Bitstream-Kodierung ist das LPCM-Format ([[w: Pulse-code_modulation]], lineare Pulscodemodulation).

Viele Programmiersprachen verfügen bereits in der Standard-Bibliothek über Funktionen zum Lesen und Schreiben von WAV-Dateien. Wenn man mit einem anderen Format arbeitet, hat man grundsätzlich zwei Möglichkeiten:

* Konvertierung der Audiodatei in das WAV-Format. Eine sehr umfassende, kostenlose und plattformübergreifende Lösung zum Aufnehmen, Konvertieren und Streamen von Audio und Video ist ffmpeg (http://www.ffmpeg.org/).

* Spezialisierte Bibliotheken oder Module zum Lesen/Schreiben des gewünschten Formats. Die Verfügbarkeit von solchen Erweiterungen ist abhängig von der verwendeten Programmiersprache. 


--- Progress of translation ---


=== Reminder of Fourier Transformations ([[w:Fourier_transform]]) ===
To transform a continuous function, one uses the ''Fourier Integral'':

:<math>F(k)=\int_{-\infty}^{\infty} {f(t)} \cdot e^{-2 \pi ikt} dt</math>

where ''k'' represents frequency. Note that ''F(k)'' is a complex value: its absolute value gives
us the amplitude of the function, and its phase defines the phase-shift between cosine and sine components.

The inverse transform is given by

:<math>f(t)=\int_{-\infty}^{\infty} F(k) \cdot e^{2 \pi ikt} dk</math>

[[Image:Idea FourierTransform.png|thumb|250px| Fourier Transformation: a sum of sine-waves can make up any repititive waveform.]]

If the data are sampled with a constant sampling frequency and there are ''N'' data points,

:<math>f(\tau)= \frac{1}{N}*\sum_{n=0}^{N-1} F_n e^{2 \pi in \tau /N} </math>

The coefficients Fn can be obtained by

:<math> F_n = \sum_{\tau = 0}^{N-1} f(\tau) \cdot e^{-2 \pi in \tau/N} </math>

Since there are a discrete, limited number of data points and with a discrete, limited number of waves, this transform is referred to as ''Discrete Fourier Transform (DFT)''. The ''Fast Fourier Transform (FFT)'' is just a special case of the DFT, where the number
of points is a power of 2: <math>N = 2^n</math> .

Note that each <math>F_n</math> is a complex number: its magnitude defines to the amplitude of the corresponding frequency component in the signal; and the phase of <math>F_n</math> defines the corresponding phase (see illustration). If the signal in the time domain "f(t)" is real valued, as is the case with most measured data, this puts a constraint on the corresponding frequency components: in that case we have

:<math> F_n = F_{N-n}^* </math>

A frequent source of confusion is the question: “Which frequency corresponds to <math>F_n</math>?” If there are ''N'' data points and the sampling period is <math>''T_s''</math>, the <math>n^{th}</math> frequency is given by

:<math> f_n = \frac{n}{N \cdot T_s}, 1 \le n \le N (in \; Hz) </math>

In other words, the lowest frequency is <math>\frac{1}{N \cdot T_s} </math> [in Hz], while the highest independent frequency is <math> \frac{1}{2T_s}</math> due to the Nyquist-Shannon theorem. Note that in MATLAB, the first return value corresponds to the offset of the function, and the second value to n=1!

=== Spektralanalyse von biologischen Signalen ===
==== Leistungsspektrum von stationären Signalen ====
Die meisten FFT-Funktionen und -Algorithmen liefern komplexwertigen Fourier-Koeffizienten <math>F_n</math>. Das Leistungsspektrum ist gegeben durch

:<math> P_n = \frac{1}{N} \cdot F_n \cdot F_n^* = \frac{1}{N} \cdot |F_n|^2 </math>

und widerspiegelt den Beitrag der verschiedenen Frequenzen.

==== Leistungsspektrum von nicht-stationären Signalen ====
Üblicherweise ändert sich die Zusammensetzung eines Audiosignals über die Zeit. Bei diesen sogenannten nicht-stationären Signalen ist man demnach daran interessiert, wie sich das Leistungsspektrum über die Zeit verändert. 

Am einfachsten ist es, jeweils nur ein kurzes Segment der Daten isoliert zu betrachten und das entsprechende Leistungsspektrum zu berechnen. Dieser Ansatz wird als ''Kurzzeit-Fourier-Transformation (STFT)'' bezeichnet. Dabei können jedoch Flanken-Artefakte die Signale erheblich verzerren, da wir davon ausgehen, dass unser Signal periodisch ist.

[[File:Window function (hann).png|300 px | "Hanning window"]]

Um Flanken-Artefakte zu eliminieren, können die Signale gefiltert oder "gefenstert" werden ([[w: Window_function]]). Ein Beispiel für ein solches Fenster ist in der obigen Abbildung dargestellt. Während einige Fenster eine bessere Frequenzauflösung bieten (z. B. das Rechteckfenster), weisen beispielsweise das Hanning-Fenster weniger Artefakte wie den spektralen Leakage-Effekt auf.

Durch Multiplikation des Signals mit dem Filter erhält man das gefilterte Signal, welches als Grundlage für die STFT dient (linke Abbildung):

{|
| [[File:Signal Windowing.jpg|400 px | Effects of windowing a signal.]]
| [[File:STFT Example.png|400 px]]
|}

Das obige Beispiel zeigt, wie sich die Anwendung eines Fensters auf die spektrale Leistungsverteilung auswirkt (siehe Abbildung rechts). ( Der entsprechende Python-Code ist zu finden unter <ref>
{{cite web
 | title = Short Time Fourier Transform [Python]
 | url = http://work.thaslwanter.at/CSS/Code/stft.py
 | work = private communications
 | author = T. Haslwanter
 | publisher = 
 | year = 2012
 }}</ref>
)

Man beachte, dass eine Verringerung der Breite des Zeitfensters die Breite des entsprechenden Leistungsspektrums erhöht.

===== Stimulationsstärke eines Zeitfensters =====

Um das Leistungsspektrum für ein ausgewähltes Zeitfenster zu erhalten, wird zunächst das Leistungsspektrum mithilfe einer STFT des Zeitsignals berechnet. Dies resultiert in der Schallintensität pro Frequenz. Der zweite Schritt besteht darin, diese Intensitäten auf einige wenige Frequenzen zu konzentrieren ("Binning"). Das Ergebnis ist ein Schallsignal im Frequenzbereich, das aus einigen wenigen dedizierten Frequenzen besteht, welche mit der Position der Elektroden in der simulierten Cochlea übereinstimmen. Die Rückkonvertierung in den Zeitbereich ergibt das simulierte Schallsignal für dieses Zeitfenster.

Die folgende Python-Funktion verarbeitet ein gegebenes Signal:

<syntaxhighlight lang="python">
import numpy as np

def pSpect(data, rate):
    '''Calculation of power spectrum and corresponding frequencies, using a Hamming window'''
    nData = len(data)
    window = np.hamming(nData)
    fftData = np.fft.fft(data*window)
    PowerSpect = fftData * fftData.conj() / nData
    freq = np.arange(nData) * float(rate) / nData
    return (np.real(PowerSpect), freq)

def calc_stimstrength(sound, rate=1000, sample_freqs=[100, 200, 400]): 
    '''Calculate the stimulation strength for a given sound'''

    # Calculate the powerspectrum
    Pxx, freq = pSpect(sound, rate)

    # Generate matrix to sum over the requested bins
    num_electrodes = len(sample_freqs)
    sample_freqs = np.hstack((0, sample_freqs))
    average_freqs = np.zeros([len(freq), num_electrodes])
    for jj in range(num_electrodes):
        average_freqs[((freq>sample_freqs[jj]) * (freq<sample_freqs[jj+1])),jj] = 1

    # Calculate the stimulation strength (the square root has to be taken, to get the amplitude)
    StimStrength = np.sqrt(Pxx).dot(average_freqs)

    return StimStrength
</syntaxhighlight>

=== Schallübertragung durch Ohrmuschel und Außenohr ===

Das äußere Ohr ist in zwei Teile unterteilt: den sichtbaren Teil an der Seite des Kopfes (die Ohrmuschel) und den äußeren Gehörgang, welcher zum Trommelfell führt. Diese Gesamtstruktur trägt die "spektralen Hinweise" für die Schalllokalisierung bei, so dass neben der Schallerkennung und -Identifizierung auch eine Ortung der Schallquelle möglich wird. <ref name="Semple1998">
{{cite
 |title= Auditory perception: Sounds in a virtual world
 |first=M.N.
 |last=Semple
 |journal=Nature
 |year=1998
 |volume=396
 |number = 6713
 |pages=721-724
 |publisher= Nature Publishing Group
 |doi=10.1038/25447}}</ref>
[[File:HumanEar.jpg|thumbnail|center|400px|The Atonamy of Human Ear]]

==== Funktion der Ohrmuschel ====

Durch die konische Form der Ohrmuschel werden Schallwellen gesammelt und in den äußeren Gehörgang geleitet. Darüber hinaus wirkt die Ohrmuschel durch ihre verschiedenen Falten als Resonanzraum, der bestimmte Frequenzen verstärkt. Ferner sind die Interferenzen, die sich aus der von der Ohrmuschel verursachten Schallreflexion ergeben, richtungsabhängig und schwächen andere Frequenzen ab. Folglich kann die Ohrmuschel als eine Filterfunktion simuliert werden, die auf den eintreffenden Schall angewendet wird und dessen Amplituden- und Phasenspektrum moduliert.

[[File:Binaural.gif|thumb|right|400px|Frequency Responses for Sounds from Two Different Directions by the Pinna 
<ref name="TAVnet">http://tav.net/audio/binaural_sound.htm</ref>]]

Die Resonanz des Ohrmuschelhohlraums kann durch 6 Eigenmoden approximiert werden <ref name="shaw1997">{{cite
 |title = Acoustical features of the human ear
 |first=E.A.G.
 |last=Shaw
 |journal=Binaural and spatial hearing in real and virtual environments
 |year=1997
 |volume=25
 |pages=47
 |publisher= Mahwah, NJ: Lawrence Erlbaum}}</ref>. Unter ihnen dominiert der erste Mode, der hauptsächlich von der Tiefe der Ohrmuschel (d. h. der Tiefe des schalenförmigen Teils der Ohrmuschel, der dem Gehörgang am nächsten liegt) abhängt.

Wie in der rechten Abbildung <ref name="TAVnet"></ref> dargestellt, durchläuft der von der Ohrmuschel übertragene Schall zwei unterschiedliche Pfade; einen direkten und einen längeren reflektierten Pfad. Die beiden Pfade sind unterschiedlich lang und erzeugen dadurch Phasenunterschiede. Wenn die Phasendifferenz die Hälfte der Schall-Wellenlänge beträgt, wird die Interferenz von Schall über den direkten und den reflektierten Pfad destruktiv. Die resultierende Auslöschung bestimmter Frequenzen durch die Ohrmuschelreflexion wird als "Pinna Notch" bezeichnet <ref name="shaw1997"></ref>. Betroffen sind insbesondere Frequenzen im Bereich von 6k Hz bis 16k Hz, je nach Form und Orientierung der Ohrmuschel.Dadurch trägt die Ohrmuschel zu den räumlichen Anhaltspunkten für die Schalllokalisierung bei.

==== Funktion des Gehörgangs ====

Der äußere Gehörgang ist etwa 25 mm lang bei einem Durchmesser von 8 mm und verläuft gewunden vom Eingang des Kanals bis zum Trommelfell. Der äußere Gehörgang lässt sich somit als einseitig geschlossener Zylinder modellieren, was zu einer Resonanzfrequenz um 3k Hz führt. Auf diese Weise verstärkt der äußere Gehörgang Töne in einem für die menschliche Sprache wichtigen Frequenzbereich. <ref name = "Avanzini">
{{cite
 |title = Algorithms for sound and music computing, Course Material of Informatica Musicale (http://www.dei.unipd.it/~musica/IM06/Dispense06/4_soundinspace.pdf)
 |author = Federico Avanzini
 |year=2007-2008
 |chapter 4
 |pages=432}}</ref>

==== Simulation des Außenohrs ====

Basierend auf den wesentlichen Funktionen des Außenohrs ist es möglich, die Schallübertragung durch die Ohrmuschel und den äußeren Gehörgang mit einem Filter oder einer Filterbank zu simulieren, sofern die Eigenschaften des Filters bekannt sind.<br>

Viele Forscher befassen sich mit der Simulation des menschlichen Gehörs, einschließlich der Simulation des Außenohrs. Im nächsten Kapitel wird zunächst ein Modell der Ohrmuschel-bezogenen Übertragungsfunktion (''Pinna-Related Transfer Function'') vorgestellt, gefolgt von zwei MATLAB-Toolboxen, die von finnischen bzw. britischen Forschergruppen entwickelt wurden.

==== Modell der Ohrmuschel-bezogenen Übertragungsfunktion nach Spagnol ====

This part is entirely from the paper published by S.Spagnol, M.Geronazzo, and F.Avanzini. <ref name="spagnol2010">{{cite
 |author=Spagnol, S. and Geronazzo, M. and Avanzini, F.
 |title = Structural modeling of pinna-related transfer functions
 |periodical=In Proc. Int. Conf. on Sound and Music Computing (SMC 2010)
 |place=barcelona
 |page=422-428
 |year=2010}}</ref>
In order to model the functions of the pinna, Spagnol developed a reconstruction model of the Pinna-Related Transfer Function (PRTF), which is a frequency response characterizing how sound is transduced by the pinna. This model is composed by two distinct filter blocks, accounting for resonance function and reflection function of the pinna respectively, as shown in the figure below.

[[File:Filterblock.png|thumbnail| center| 650 px|General Model for the Reconstruction of PRTFs<ref name="spagnol2010"></ref>]]

There are two main resonances in the interesting frequency range of the pinna<ref name="spagnol2010"></ref>, which can be represented by two second-order peak filters with fixed bandwidth <math>f_b = 5 kHz </math><ref name="orfanidis1996">S. J. Orfanidis, ed., Introduction To Signal Processing. Prentice Hall, 1996.</ref>:
:<math>H_{res} (z)=  \frac{V_0 (1-h)(1-z^{-2})}{1+2dhz^{-1}+(2h-1)z^{-2}} </math>
where   
:<math>h=  \frac{1}{1+\tan(\pi\frac{f_B}{f_s})} </math><br>
:<math> d= -\cos(2\pi \frac{f_C}{f_s} )</math> 
:<math>V_0=10^{\frac{G}{20}}</math>
and <math>f_s</math> is the sampling frequency, <math>f_C</math> the central frequency, and <math>G</math> the notch depth. <br><br>
For the reflection part, three second-order notch filters of the form <ref>U. Zölzer, ed., Digital Audio Effects. New York, NY, USA: J.Wiley & Sons, 2002.</ref> are designed with the parameters including center frequency <math>f_C</math>, notch depth <math>G</math>, and bandwidth  <math>f_B</math>.  
:<math>H_{refl}(z)=  \frac{1+(1+k)\frac{H_0}{2}+d(1-k)z^{-1}+(-k-(1+k)\frac{H_0}{2})z^{-2}} {1+d(1-k) z^{-1}-kz^{-2}}</math>
where <math>d</math> is the same as previously defined for the resonance function, and
:<math>V_0=10^{\frac{-G}{20}}</math>
:<math>H_0= V_0-1</math>
:<math>k= \frac{\tan(\pi\frac{f_B}{f_s})-V_0}{\tan(\pi\frac{f_B}{f_s})+V_0}</math>
each accounting for a different spectral notch. 

By cascading the three in-series placed notch filters after the parallel two peak filters, an eighth-order filter is designed to model the PRTF.<br>
By comparing the synthetic PRTF with the original one, as shown in the figures below, Spagnol concluded that the synthesis model for PRTF was overall effective. This model may have missing notches due to the limitation of cutoff frequency. Approximation errors may also be brought in due to the possible presence of non-modeled interfering resonances.

[[File:PRTF experiment result.png|thumbnail| center| 900 px|Original vs Synthetic PRTF Plots<ref name="spagnol2010"></ref>]]

==== HUTear MATLAB Toolbox ====
[[File:Structure of HUTear.png|thumb|right|320px|Block Diagram of Generic Auditory Model of HUTear]]

HUTear ist eine MATLAB-Toolbox für die Gehörmodellierung, welche vom [http://www.acoustics.hut.fi/ Labor für Akustik und Audiosignalverarbeitung] der [http://www.aalto.fi/en/ Technischen Universität Helsinki] entwickelt wurde <ref>http://www.acoustics.hut.fi/software/HUTear/</ref>. Die Open-Source-Toolbox kann von hier heruntergeladen werden. Die Struktur der Toolbox ist in der rechten Abbildung dargestellt.

Das Modell enthält ein Modul für die Simulation des Außen- und Mittelohrs (OME). Das OME-Modul wurde auf der Grundlage der Forschung durch Glassberg und Moor <ref name="GlassbergMoor">
{{cite
 |title = Derivation of auditory filter shapes from notched-noise data
 |author = Glasberg, B.R. and Moore, B.C.J.
 |journal=Hearing research
 |year=1990
 |volume=47
 |number = 1-2
 |pages=103-138
 |publisher= Elsevier}}
</ref> entwickelt. Der verwendete Filter ist üblicherweise linear und wird unter Einbezug der Korrekturen ''Equal Loudness Curves at 60 dB'' (ELC) / ''Minimum Audible Fiel'' (MAF) / ''Minimum Audible Pressure at ear canal'' (MAP) erstellt. Durch Parametrisierung lassen sich die MAP-IIR-Näherung und die MAP-Daten vergleichen, wie in der Abbildung unten dargestellt.

[[File:Hutearui.png|thumb|center|UI of OEMtool from HUTear Toolbox]]

==== MATLAB-Modell der auditiven Peripherie (MAP) ====

MAP wurde von Forschern des [http://www.essex.ac.uk/psychology/department/HearingLab/Welcome.html Hearing Research Lab] an der [http://www.essex.ac.uk/ University of Essex] in England entwickelt <ref>http://www.essex.ac.uk/psychology/department/research/hearing_models.html</ref>. Es handelt sich um ein Computermodell der Gehör-Physiologie und ist ein offen zugängliches Software-Paket, das [http://www.essex.ac.uk/psychology/department/research/hearing_models.html hier] heruntergeladen werden kann. Die Struktur des Modells ist in der rechten Abbildung dargestellt.

[[File:MAP Structure.png|thumb|MAP Model Structure]]

Innerhalb des MAP-Modells gibt es das Untermodul "Outer Middle Ear (OME)", welches die Resonanzfunktion des äußeren Mittelohrs modelliert. Diese setzt sich zusammen aus zwei parallelen Bandpassfiltern, welche die Concha-Resonanz und die Resonanz des äußeren Gehörgangs abbilden. Beide Filter werden über ihren jeweiligen Durchlass-Frequenzbereich, die Verstärkung und die Ordnung spezifiziert. Durch Addition des gefilterten Signals zur ursprünglichen Schalldruckwelle resultiert das "Ausgangssignal" des äußeren Mittelohrs.

Um das OME-Modell zu testen, muss die Funktion "testOME.m" ausgeführt werden. Es wird eine Abbildung angezeigt, die die Außenohrresonanzen und die maximale Verschiebung des Steigbügels darstellt (wie in der Abbildung unten dargestellt).

[[File:Example of OME MAP UI.png|thumb|center|External Ear Resonances and Stapes Peak Displacement from OME Model of MAP]]

==== Zusammenfassung  ====

Die Resonanz- und Reflexionswirkung auf den ankommenden Schall durch das Außenohr, einschließlich Ohrmuschel und äußerem Gehörgang, kann als linearer Filter oder als Filterbank simuliert werden. Da die Form der Ohrmuschel von Person zu Person unterschiedlich ist, sind auch die Modellparameter wie Resonanzfrequenzen individuell zu wählen.

Ein Aspekt, der in den oben beschriebenen Modellen nicht berücksichtigt wird, ist die kopfbezogene Übertragungsfunktion (Head-Related Transfer Function, HRTF). Die HRTF beschreibt, wie das Ohr den Schall von einer punktförmigen Schallquelle im Raum empfängt. Sie wird hier nicht weiter erläutert, da sie über die Wirkungsweise des Außenohrs hinausgeht und auch die komplexe Filterwirkung von Kopf und Rumpf beschreibt. Für den interessierten Leser gibt es eine Fülle von Literatur und Veröffentlichungen zur HRTF ([http://en.wikipedia.org/wiki/Head-related_transfer_function wiki], tutorial [http://505606.pbworks.com/f/HRTF.pdf 1],[http://www.umiacs.umd.edu/~ramani/cmsc828d_audio/HRTF_INTRO.pdf 2], [https://ccrma.stanford.edu/~malcolm/SpatialAudioLiterature.html Leseliste für räumliche Audioforschung einschließlich HRTF])

=== Simulation des Innenohrs ===
Die Form und der Aufbau der Basilarmembran führen dazu, dass einzelne Membranabschnitte durch dedizierte Frequenzen besonders stark in Resonanz versetzt werden. Dies führt zu einer tonotopischen Organisation der Empfindlichkeit für Frequenzbereiche entlang der Membran, welche als eine Reihe sich überlappender Bandpassfilter modelliert werden kann: die "auditorischen Filter"<ref name="Munkong2008">
{{cite
 |first=R.
 |last=Munkong
 |periodical=IEEE Signal Processing Magazine
 |year=2008
 |volume=25
 |issue=3
 |pages=98--117
 |doi=10.1109/MSP.2008.918418
 |bibcode = 2008ISPM...25...98M }}</ref>.

Die auditorischen Filter sind Punkten entlang der Basilarmembran zugeordnet. Sie modellieren die Frequenzselektivität der Cochlea und damit die Unterscheidung zwischen verschiedenen Tönen durch den Hörer <ref name="M98">
{{cite book
 |first=B. C. J.
 |last=Moore
 |title=Cochlear hearing loss
 |year=1998
 |place=London
 |publisher=Whurr Publishers Ltd.
 |isbn=0585122563
 }}</ref>.

Filter mit einer Selektivität für hohe Frequenzen korrespondieren mit der Basis der Cochela, während Filter für tiefe Frequenzen dem oberen Ende der Cochlea zugeordnet werden <ref name="M98"/><ref name="M86">
{{cite
 |first=B. C. J.
 |last=Moore
 |year=1986
 |title=Parallels between frequency selectivity measured psychophysically and in cochlear mechanics  
 |periodical=Scand. Audio Suppl.
 |issue=25
 |pages=129–52
 }}</ref>. Alle Filter sind nichtlinear und pegelabhängig. Die Bandbreite der auditiven Filter wird auch als Frequenzgruppe oder kritische Frequenzbandbreite bezeichnet. 

[[File:ERB vs frequency.svg|thumb|250px|'''ERB related to centre frequency.''' The diagram shows the ERB versus centre frequency according to the formula of Glasberg and Moore.<ref name="M98"/>]]

Ein weiteres Konzept im Zusammenhang mit dem auditorischen Filter ist die äquivalenten Rechteckbandbreite ("equivalent rectangular bandwidth", ERB). Die ERB zeigt die Beziehung zwischen dem auditorischen Filter, der Frequenz und der kritischen Bandbreite auf. Ein ERB lässt dieselbe Energiemenge durch wie der entsprechende auditorische Filter und zeigt, wie dieser sich in Abhängigkeit von der Eingangsfrequenz verändert<ref name="M98"/>. Bei niedrigem Schallpegel wird das ERB nach Glasberg und Moore durch die folgende Gleichung angenähert:[13]

:<math>
ERB = 24.7*(4.37F + 1) \,
</math>

wobei die ERB in Hz und die Mittenfrequenz F in kHz angegeben ist.

Man geht davon aus, dass jeder ERB etwa 0,9 mm auf der Basilarmembran entspricht<ref name="M98"/><ref name="M86"/>.

==== Gammatone Filter ====
[[Image:Sample gammatone.png|thumb|250px| Sample gamma tone impulse response.]]

Ein Filtertyp, der zur Modellierung der auditorischen Filter verwendet wird, ist der "Gammatone-Filter". Er nutzt einen einfachen linearen Filter zur Beschreibung der Dislokation des korrespondierenden Basilarmembran-Abschnitts bei einem bestimmten Schalleingang. Lineare Filter werden gerne zur Modellierung verschiedener Aspekte des auditorischen Systems eingesetzt, da diese leicht zu implementieren ist.

Im Allgemeinen handelt es sich dabei um IIR-Filter (''Infinite Impulse Response'') mit Vorwärts- und Rückkopplung, die wie folgt definiert sind

:<math> \sum\limits_{j = 0}^m {{a_{j + 1}}y(k - j)}  = \sum\limits_{i = 0}^n {{b_{i + 1}}x(k - i)} </math>

mit a1=1

Die Koeffizienten ai und bj bestimmen diesen Filtertyp eindeutig. Der Rückkopplungscharakter dieser Filter wird deutlicher, wenn man die Gleichung umformt

:<math> y(k) = {b_1}x(k) + {b_2}x(k - 1) + ... + {b_{n + 1}}x(k - n) - \left( {{a_2}y(k - 1) + ... + {a_{m + 1}}y(k - m)} \right) </math>

Im Gegensatz dazu sind FIR-Filter, also Filter mit endlicher Impulsantwort, nur vorwärts gerichtet: für sie gilt <math>a_i=0 </math> for i>1.

[[File:IIR-filter.png|thumbnail|General description of an "Infinite Impulse Response" filter.]]

Lineare Filter können die nichtlinearen Aspekte des auditorischen Systems nicht berücksichtigen. Dennoch werden sie in einer Vielzahl von Modellen des auditorischen Systems verwendet. Die Impulsantwort des Gammatons ist gegeben durch

:<math>
g(t) = at^{n-1} e^{-2\pi bt} \cos(2\pi ft + \phi), \,
</math>

wobei
<math>f</math> für die Frequenz,
<math>\phi</math> für die Phase des Trägersignals,
<math>a</math> für die Amplitude,
<math>n</math> für die Ordnung des Filters,
<math>b</math> für die Bandbreite des Filters und
<math>t</math> für die Zeit steht.

Dies ergibt eine Sinuskurve mit einer Amplitudenhüllkurve, die einer skalierten Gammaverteilungsfunktion entspricht.

Variationen und Verbesserungen des Gammatone-Filter sind unter anderem der Gammachirp-Filter, der Ganzpol- und der 0-1-Gammatone-Filter, der zweiseitige Gammatone-Filter und Filterkaskadenmodelle sowie verschiedene pegelabhängige und nichtlineare Versionen dieser Modelle <ref>
{{cite web
 | title = History and Future of Auditory Filter Models
 | url = http://research.google.com/pubs/archive/36895.pdf 
 | work = Proc. ISCAS
 | author = R. F. Lyon, A. G. Katsiamis, E. M. Drakakis
 | publisher = IEEE
 | year = 2010
 }}</ref>.

Für Computersimulationen stehen effiziente Implementierungen von Gammatone-Modellen in Matlab und Python zur Verfügung<ref>
{{cite web
 | title = Gammatone Toolbox [Python]
 | url = http://work.thaslwanter.at/CSS/Code/GammaTones.py
 | work = private communications
 | author = T. Haslwanter
 | publisher = 
 | year = 2011
 }}</ref>.

Mit Hilfe der Gammatone-Filtern und dem ''Parseval-Theorem'' lässt sich ausserdem die Energie in einem bestimmten Frequenzband bestimmen:

:<math> \int_{ - \infty }^\infty  {{{\left| {f(t)} \right|}^2}dt = } \int_{ - \infty }^\infty  {{{\left| {F(\omega )} \right|}^2}d\omega } </math>

{{:Sensory Systems/Computer Models/Auditory System Simulation/PerceptualAudioCoding}}

== Perzeptive Audiocodierung und Filtereigenschaften der Cochlea ==
Der folgende Abschnitt diskutiert die grundlegenden Mechanismen der perzeptiven Audiocodierung. Die zugrundeliegenden psychoakustischen Prinzipien werden erläutert und die Beziehung zu den Filtereigenschaften der Cochlea und höheren kortikalen Verarbeitungsstufen aufgezeigt.

=== Perzeptive Audiocodierung ===
[http://en.wikipedia.org/wiki/MP3 Mp3] (MPEG-1 Layer 3, Vorgänger von MPEG-2 und MPEG-4 Advanced Audio Coding (AAC)) ist das wohl bekannteste Audioformat, das die perzeptive Kodierung von Audiosignalen nutzt. [http://en.wikipedia.org/wiki/Advanced_Audio_Coding AAC] ist eine effizientere Erweiterung, erzielt im Allgemeinen eine bessere Klangqualität und ermöglicht eine größere Bandbreite, beruht aber auf denselben Kodierungsprinzipien wie Mp3. Beide Formate sind von ISO und IEC genormt, aber nur der Decoder ist vollständig spezifiziert, die Implementierung des Encoders bleibt offen. Dies führte zu einer Vielzahl von verfügbaren Encodern, die sich in der Wiedergabequalität, der erzielten Bitrate, der Leistung und der Kodiereffizienz unterscheiden <ref name="brandenburg1999mp3">Karlheinz Brandenburg. Mp3 and aac explained. In Audio Engineering Society Conference: 17th International Conference: High-Quality Audio Coding. Audio Engineering Society, 1999.</ref>. 

Klassische Komprimierungs-Algorithmen verfolgen in der Regel das Ziel, Informationen mit einer minimalen Anzahl von Bits darzustellen und dabei die Qualität der Signalwiedergabe beizubehalten. Im Gegensatz dazu berücksichtigt die perzeptive Audiocodierung das Wissen um das menschliche Gehör und reduziert die Bitrate durch das Entfernen von Informationen, die für die meisten Hörer irrelevant sind. 

Diese [https://en.wikipedia.org/wiki/Lossy_compression verlustbehaftete Komprimierung] wird durch Ausnutzung der Eigenschaften des menschlichen Gehörs und statistischer Redundanzen erreicht. Die übliche Bitrate für MP3 ist 128 kbit/s, und effiziente Kodierer erreichen bei der Komprimierung von Audiodaten in CD-Qualität (16 bit PCM, 44,1 kHz, ≈ 1411 kBit/s) in der Regel eine Datenreduzierung um den Faktor 10. Anders ausgedrückt: Etwa 90 % der auf einer [https://en.wikipedia.org/wiki/Compact_disc#Audio_format CD] gespeicherten Daten können vom Hörer nicht wahrgenommen werden. 

CD-Qualität ist das, was die Nutzer beim Musikhören in der Regel erwarten. Es gibt eine lange Debatte darüber, ob CD-Qualität gut genug ist, um den analogen Originalton zu reproduzieren. Unter den vielen verschiedenen Expertenmeinungen sind diese beiden Referenzen <ref name="brandenburg1999mp3" /><ref name="stuart1995"> J. R. Stuart for Acoustic Renaissance for Audio. A proposal for the high-quality audio application of high-density CD carriers. 1995.</ref> für eine weitere Lektüre interessant. Die Notwendigkeit einer effizienteren Audiocodierung ergibt sich aus Netzwerk-, Multimediasystem- und Speicheranwendungen, und Mp3 wurde ursprünglich für die effizientere Übertragung von audiovisuellen Inhalten entwickelt.

Das theoretische Limit der perzeptiven Audiocodierung wurde von Johnston <ref name="johnston1988">James D Johnston. Estimation of perceptual entropy using noise masking criteria. In Proceedings of the International Conference on Acoustics, Speech, and Signal Processing of the IEEE 1988.</ref> untersucht, was zu dem Begriff der ''perzeptiven Entropie'' führte. Auf der Grundlage von Messungen wurde die perzeptive Entropie für Audio in CD-Qualität auf etwa 2 Bit pro Sample geschätzt. Moderne Kodierer bestätigen dies und erreichen eine vergleichbare Effizienz <ref name="painter1997">Ted Painter and Andreas Spanias. A review of algorithms for perceptual coding of digital audio signals. In Proceedings of the 13th International Conference on Digital Signal Processing of the IEEE 1997</ref>. Die Qualität eines perzeptiven Kodierungsalgorithmus wird in der Regel durch Hörtests und jüngst auch in Kombination mit einem standardisierten Algorithmus für die objektive Messung der wahrgenommenen Audioqualität, der [http://en.wikipedia.org/%20wiki/PEAQ Perceptual Evaluation of Audio Quality (PEAQ)], bewertet.

==== Architektur eines perzeptiven Audiocodierers ====
[[File:Basic block diagram perceptual coding system.svg|thumb|Basic architecture of a perceptual audio encoder]]

Die für perzeptiven Audiocodierer übliche Grundarchitektur ist in der Abbildung rechts dargestellt. Die Filterbank abstrahiert die zeitlichen und spektralen Signalverarbeitung des menschlichen Gehörs. Die Audioeingabe wird in Segmente unterteilt, die in eine Reihe von Parametern umgewandelt werden, welche wiederum quantisiert und kodiert werden können. Die Quantisierungs- und Kodierungsphase nutzt statistische Redundanzen und stützt sich auf Schwellenwerte, die vom perzeptiven Wahrnehmungsmodell abgeleitet sind.

Weiter liefert das perzeptive Wahrnehmungsmodell Schwellen für die Maskierung als Funktion der Frequenz. In der abschliessenden Kodierungsphase werden [https://en.wikipedia.org/wiki/Lossless_compression verlustfreie Kodierungstechniken] wie die [https://en.wikipedia.org/wiki/Huffman_coding Huffman-Kodierung] verwendet. Für eine technische Erklärung des Algorithmus und eine Beispielimplementierung wird hiermit auf die [http://ccrma.stanford.edu/%20~jos/bosse/Human_Audio_Perception_Masking.html Online-Bücher von J.O. Smith] verwiesen. 

=== Psychoakustische Prinzipien der perzeptiven Audiocodierung ===

Auditive Maskierung beschreibt ein Phänomen, bei dem die Wahrnehmung eines Geräuschs durch die Anwesenheit eines anderen Geräuschs beeinträchtigt wird. Maskierungseffekte treten sowohl im Frequenzbereich (simultane Maskierung) als auch im Zeitbereich (nicht-simultane Maskierung) auf.

Die grundlegende Idee der perzeptiven Audiocodierung besteht darin, das Quantisierungsrauschen so zu verändern, dass es durch das eigentliche Audiosignal maskiert wird und daher vom Hörer nicht wahrgenommen werden kann. 

Dies wird durch die Nutzung psychoakustischer Prinzipien wie der Schwelle des absoluten Gehörs, der Analyse der kritischen Frequenzbänder und der auditorischen Maskierung erreicht <ref name="painter1997" />. Da der Wiedergabepegel in der Kodierungsphase oft nicht bekannt ist, werden in der Regel konservative Schätzungen der absoluten Hörschwelle zur Signalnormalisierung verwendet. 

==== Simultane Maskierung ====
[[File:Spreadingfunction adapted.png|thumb|Adapted from Jayant et al.<ref name="jayant1993" />. Spreading function for simultaneous masking. Critical-band noise masker of varying intensity at 1 kHz.]]

Bei der simultanen Maskierung spielt die Frequenzauflösung der Cochlea eine zentrale Rolle. In der Cochlea findet eine Frequenz-Ort-Umwandlung statt, und es ergeben sich unterschiedliche Bereiche, die auf verschiedene Frequenzbänder abgestimmt sind. Diese unterschiedlichen Frequenzbereiche werden als kritische Bandbreite des Hörens (oder Frequenzgruppe) bezeichnet. Die kritische Bandbreite bleibt in der Regel konstant ≈ 100 Hz bis 500 Hz und steigt oberhalb von 500 Hz auf etwa 20 % der Mittenfrequenz an <ref name="painter1997" />. Die ersten 24 Frequenzgruppen werden durch die Bark-Skala beschrieben. Ein Ton führt zur Erregung der Basilarmembran, was die Erkennungsschwelle für einen zweiten Ton innerhalb derselben Frequenzgruppe beeinflusst (Intrabandmaskierung). Darüber hinaus werden auch benachbarte Frequenzgruppen beeinflusst (Interbandmaskierung). Die Beeinflussung benachbarter Gruppen wird durch die ''Spreading-Funktion'' beschrieben. 

Die Abbildung auf der rechten Seite zeigt eine empirisch ermittelte Spreading-Funktion. Wie in der Abbildung dargestellt, ist die Maskierung von höheren Frequenzgruppen effizienter als die von niedrigeren Frequenzgruppen, was als ''upward spread'' der Maskierung bezeichnet wird. Es wird vermutet, dass diese Ausbreitung ein Nebenprodukt der mechanischen Filtereigenschaften der Cochlea ist, bei der die äußeren Haarzellen die Bewegung der Basilarmembran verstärken um so die Frequenzauflösung zu erhöhen[21]. Der Grund für die Ausbreitung der Maskierung für ist allerdings nicht abschliessend geklärt, und neben der mechanischen Anregung könnte auch Unterdrückung eine Rolle spielen <ref name="jayant1993">Nikil Jayant, James Johnston, and Robert Safranek. Signal compression based on models of human perception. Proceedings of the IEEE, 81(10):1385-1422, 1993.</ref>. Weiter zeigt die ermittelte Spreading-Funktion auch nichtlineare Übertragungscharakteristik des Innen- und Mittelohrs, wodurch bei höheren Schalldruckpegeln ein zweiter Ausschlag um 2 kHz (die zweite Harmonische von 1 kHz) auftritt <ref name="jayant1993" />.

Das Vorliegen eines starken Rausch- oder Tonmaskierers erzeugt somit eine ausreichend starke Anregung an der Basilarmembran, um die Übertragung eines schwächeren Signals in seiner Frequenzgruppe wirksam zu blockieren. Weiter sind durch die Ausbreitung der Maskierung auch benachbarte Gruppen betroffen.

Es werden zwei Arten von simultaner Maskierung beobachtet:

* Rauschen wird durch das Signal maskiert. Es lässt sich einen unteren Schwellenwert für das Rauschen ermitteln, sodass es durch ein gegebenes Signal gerade noch maskiert wird. 

* Das Signal wird durch Rauschen maskiert. Es lässt sich einen oberen Schwellenwert für das Rauschen ermitteln, sodass es ein Signal vollständig maskiert. 

Bei der perzeptiven Audiocodierung werden diese Schwellenwerte basierend auf der Zeit-Frequenz-Analyse interpoliert. Anschliessend wird die Spreading-Funktion berücksichtigt. Das objektive Signal-Rausch-Verhältnis (SNR) kann sehr niedrig sein während das subjektive SNR hoch genug ist, um eine für den Höhrer transparente Kodierung zu erreichen <ref name="jayant1993" />. 

==== Nicht-simultane Maskierung ====
[[File:Temporalmasking adapted.png|thumb|Adapted from Jayant et al.<ref name="jayant1993" /> Non-simultaneous masking. A sharp transient creates masking effects that influence the auditory perception of two signals in time domain. The perception before (pre- or backward masking) as well as after the transient (post- or forward masking) is affected.]]

Akustische Reize in Musik oder Sprache sind oft charakterisiert durch einen Einschwingvorgang: Einen kurzen, hochfrequenten und nicht-periodischen Ausschlag zu Beginn des Tones, der beispielsweise beim Klavier durch den Anschlag einer Taste entsteht. Diese sogenannten ''Transiente'' können Maskierungseffekte im Zeitbereich verursachen. Die Wahrnehmung vor und nach dem Einschwingvorgang ist betroffen, wie in der Abbildung dargestellt. Der Bereich der Rückwärtsmaskierung dauert in der Regel wenige Millisekunden, der Bereich der Vorwärtsmaskierung dauert deutlich länger <ref name="painter1997" />.

Dieses Phänomen ist nicht vollständig verstanden und ein aktives Forschungsthema. Es gibt jedoch Hinweise darauf, dass eine höhere kortikale Verarbeitungsstufe daran beteiligt ist. Es ist jedoch unklar, ob dieser Effekt mit der Integration von Geräuschen, der Unterbrechung oder Hemmung der neuronalen Verarbeitung und/oder Unterschieden in den Übertragungsgeschwindigkeiten zusammenhängt. Vorwärts- und Rückwärtsmaskierung weisen unterschiedliche Merkmale auf und sind daher vermutlich auf unterschiedliche Eigenschaften des menschlichen Hörsystems zurückzuführen <ref name="filippini2015">Renata Filippini. Unmasking auditory temporal masking, 2015. http://hearinghealthmatters.org/pathways/2015/unmasking-auditory-temporal-masking/</ref>.

==== 2.2.3	Maskierung und Joint Stereo Codierung (Kanalkoppelung) ====

Eine effiziente Technik, die bei der Audiocodierung häufig zum Einsatz kommt, ist die [https://en.wikipedia.org/wiki/Joint_(audio_engineering) Kanalkoppelung]. Da der linke und der rechte Audiokanal eines Audiosignals in der Regel stark korreliert sind, ist es manchmal effizienter, eine Summen- bzw. Differenzcodierung (L-R, L+R) des Audiosignals durchzuführen. Im Fall von MP3 wurde dieses Potenzial leider nicht voll ausgeschöpft. 

Ein solches Verfahren würde die Schwellenwerte für Links/Rechts- und Summen-/Differenzkodierung vergleichen und dynamisch den effizientesten Schwellenwert wählen. Bei der Berechnung der Schwellenwerte ist besondere Vorsicht geboten, da die Kanalkoppelung beim binauralen Hören wahrnehmbare Artefakte verursachen kann <ref name="jayant1993" />.

=== Artefakte  ([[w: Compression_artifact]])===
Da der Kompressionsfaktor inhaltsabhängig ist, wird bei Mp3 und AAC stattdessen die Kodier-Bitrate festgelegt: Eine niedrigere Bitrate führt zu einem höheren Kompressionsverhältnis und eine höhere Bitrate zu einem niedrigeren Kompressionsverhältnis. Letztere verringert die Wahrscheinlichkeit für mögliche Artefakte. Als Folge ergibt sich ein optimaler Arbeitsbereich (Bitrate), in dem ein bestimmter Algorithmus am besten funktioniert, während sich bei noch höherer Bitrate die Qualität nur geringfügig verbessert <ref name="brandenburg1999mp3" />.

Im Gegensatz zu Rausch- und Verzerrungsartefakten von Abspielgeräten, an die wir alle beim Hören von CDs gewöhnt sind, können Artefakte von perzeptiven Encodern als störend empfunden werden. Wenn die Bitrate für eine transparente Kodierung zu niedrig ist, lassen sich Rauschen und Verzerrungen als zeitvariantes Signal beschreiben. Aufgrund der sich von Frame zu Frame ändernden Bandbreite sind die Verzerrungen nicht mehr harmonisch zusammenhängend. Das Ergebnis kann daher rau klingen <ref name="brandenburg1999mp3" />. 

==== Bandbreitenverlust ====
Um eine gegebene Bitrate zu erreichen, suchen Kodierer einen Kompromiss zwischen der Frequenzbandbreite und der Abdeckung von niedrigen Frequenzen. Da grosse Unterschiede in der Bandbreite zwischen den Frames als störend empfunden wird, wirken Kodierer diesem Artefakt im Allgemeinen durch eine Begrenzung der maximalen Bandbreite entgegen.

==== Preecho (Vorhall) ====
Der Vorhall wird durch die Framegröße des perzeptiven Encoders bestimmt und ist das am schwierigsten zu vermeidende Artefakt. Abrupte Transiente in der Mitte eines Frames können sich über die Rückwärtsmaskierung ausbreiten und somit hörbar werden. Es gibt verschiedene Techniken, um das Auftreten von Vorhall zu minimieren, z. B. eine Analysefilterbank mit variabler Framegröße <ref name="brandenburg1999mp3" />.

Preecho is the most difficult error to avoid and is related to the frame size of the perceptual encoder. If a strong attack of an audio signal occurs in the middle of a frame the calculated threshold for the noise might spread over the backward masking region due to the frame size and thus become audible. There are various techniques to minimize the occurrence of preechos, such as a variable frame size analysis filterbank.<ref name="brandenburg1999mp3" />

=== Bezug zu den Filtereigenschaften der Cochlea ===
Die perzeptive Kodierung nutzt aktuelle Erkenntnisse über die Eigenschaften des menschlichen Gehörs. Die Cochlea sowie akustischen und mechanischen Eigenschaften des Mittel- und Außenohrs bestimmen die absolute Hörschwelle. Bei der simultanen Maskierung ergeben sich die Maskierungsschwellen innerhalb und zwischen den kritischen Bändern (die Spreading Funktion) aus den Filtereigenschaften der Cochlea. 

Andere Phänomene, wie das ''upward spreading'' der Maskierung, sind jedoch nicht abschliessend durch die Eigenschaften der Cochlea zu erklären. Der Effekt der zeitlichen Maskierung sowie Artefakte bei der lassen auf den Einfluss einer höheren kortikalen Verarbeitung im Hörsystem schliessen.

==Menschliche Sprache==
=== Terminologie ===
==== Lautstärke ====

Die Intensität des Schalls wird in der Regel in Dezibel (dB) ausgedrückt, definiert als

:<math> SPL = 20 * log \frac{p}{p_0} </math>

wobei SPL für den Schalldruckpegel (in dB) steht und <math>p_0 = 2*10^{-5} N/m^2 </math> für den Referenzdruck. Man beachte, dass dieser Wert viel kleiner ist als der Luftdruck (ca. 105 N/m2). Oft wird Schall relativ zum "Hörpegel" angegeben:

* 0 - 20 dB SPL ... Hörpegel (0 dB für Sinustöne, von 1&nbsp;kHz - 4&nbsp;kHz)
* 60 dB SPL ... mittelhoher Ton, gesprochene Sprache

Die Grundtonfrequenz, die sich aus den Schwingungen der Stimmbänder im Kehlkopf ergibt, beträgt bei erwachsenen Männern etwa 120&nbsp;Hz, bei erwachsenen Frauen 250 Hz und bei Kindern bis zu 400&nbsp;Hz.

[[File:HearingLoss.svg|500px|thumb|center|Frequency- and loudness-dependence of human hearing loss.]]

==== Formanten ====

Die dominanten Frequenzen in der menschlichen Sprache werden als Formanten bezeichnet. Sie werden durch Resonanz und Interferenzeigenschaften des Mundes verstärkt und zeigen sich als deutliche Ausschläge der Energie im Frequenzspektrum. Sie sind in aufsteigender Reihenfolge nummeriert, beginnend mit dem Formant der niedrigsten Frequenz.

[[File:Vowel spectrogram.png|thumb|350px|Spectrogram of the German vowels "a,e,i,o,u". These correspond approximately to the vowels in the English words "hut, hat, hit, hot, put". Calculated using the MATLAB command "spectrogram(data, 512,256, 512, fs)". The chapter [[#Power Spectrum of Non-stationary Signals|Power Spectrum of Non-stationary Signals]] below describes the mathematics behind the spectrogram.]]

==== Phoneme ====

Sprache wird oftmals als eine Abfolge von akustischen Einheiten betrachtet, die Phon genannt werden und sprachlichen Einheiten, den Phonemen, entsprechen. Phoneme sind die kleinsten Lauteinheiten, anhand derer verschiedene Wörter unterschieden werden können. Beispielsweise enthält das Wort "dog" drei Phoneme. Änderungen am ersten, zweiten und dritten Phonem ergeben die Wörter "log", "dig" und "dot". Die deutsche und englische Sprache verfügen über etwa 40 verschiedene Phoneme. 

=== Sprachwahrnehmung ===

Während die automatische Spracherkennung in Umgebungen mit hohem Signal-Rausch-Verhältnis recht erfolgreich ist, nimmt die Leistung der existierenden Algorithmen im Vergleich zu Menschen überproportional ab, sobald die Bedingungen nicht mehr ideal sind. Es scheint demnach, dass die heute verwendeten Algorithmen zur Spracherkennung noch nicht annähernd an den «Algorithmus» herankommen, den der Mensch zur Spracherkennung verwendet.

Es ist erwiesen, dass die Wahrnehmung von Sprache im Gehirn auf einem anderen Verarbeitungspfad beruht als die Wahrnehmung anderer Klänge. Studien haben gezeigt, dass die Reaktion auf nicht-sprachliche Geräusche im Allgemeinen mit dem Stimulus korreliert, während bei der Verarbeitung von Sprache eine Diskretisierung der Reaktion festgestellt werden konnte. Lisker und Abramson <ref>{{cite book|last1=Lisker|first1=L.|coauthors= Abramson |year=1970 |chapter=The voicing dimension: Some experiments in comparative phonetics|editors= B. Hála, M. Romportl and P. Janota|title=Proceedings of the 6th International Congress of Phonetic Sciences|publisher= Academia|location= Prague}}</ref> konnten zeigen, dass die temporale Organisation eines Lautes dessen Identifizierung beeinflusst. So scheint das Einsetzen der Stimme nach dem Abspielen der Phonemen /b/ oder /p/ (''Voice Onset Time'', VOT) massgeblich für deren korrekte Klassifizierung. Bei einer gleichmäßigen Variation der VOT konnte ein Schwellenwert von ~20 ms festgestellt werden, bei dem die Versuchspersonen ihre Identifizierung von /b/ auf /p/ umstellten. Dies belegt, dass eine Art von Kategorisierungsschema vorliegt.

Die Herausforderung bei der Modellierung der Sprachwahrnehmung ist die so genannte "fehlende Invarianz" (''Lack of Invariance'') im Sprachsignal. Die Varianz entsteht insbesondere durch die Position eines Phonems im gesprochenen Wort, wie beispielsweise /p/ in «Position» respektive «Sprache». Ein einzelnes Phonem kann somit einer Vielzahl von Wellenformen zugeordnet werden. Umgekehrt ist die Zuordnung einer Wellenform zu einem bestimmten Phonem stark kontextabhängig. Weiter kann eine Wellenform aufgrund von Faktoren wie dem Sprechtempo, der Identität des Sprechers und dem Ton, in dem er spricht, sehr unterschiedlich ausfallen. Dennoch ist der menschliche Hörer in der Lage, zuverlässig das richtige Ergebnis zu ermitteln.

Existierende Modelle der Sprachwahrnehmung lassen sich in zwei Klassen einteilen.

==== Passive Wahrnehmungsmodelle ====

Passive Wahrnehmungstheorien definieren das Konzept der Sprachwahrnehmung im Allgemeinen auf dieselbe Weise wie die meisten Algorithmen zur Verarbeitung sensorischer Signale: Ein Eingangssignal wird an eine Verarbeitungs-Hierarchie übergeben, in der jeder Schritt ein zunehmend abstrakteres Signal aus dem Eingangssignal extrahiert. Ein früher Vertreter der passiven Modelle war die Theorie der distinktiven Merkmale (distinktive Feature). Aus dem Spektogramm des Eingangssignal werden dabei eine Reihe von artikulatorischen Merkmalen extrahiert, zum Beispiel ober der Laut nasal/oral oder stimmhaft/nicht stimmhaft gesprochen ist. Diese Merkmale werden als binärer Vektor zusammengefasst und als die wesentlichen Eigenschaften (distinktiven Merkmale) eines Phonems verstanden. 

Andere passive Modelle, wie die von <ref>Selfridge, O.C (1959) "Pandemonium: a paradigm for learning". in ''Proceedings of the Symposium on Mechanisation of Thought Process''. National Physics Laboratory.</ref> und Uttley,<ref>{{cite journal|last1=Uttley|first1=A.M.|title=The transmission of information and the effect of local feedback in theoretical and neural networks|journal=Brain Research|date=July 1966|volume=2|issue=1|pages=21–50|doi=10.1016/0006-8993(66)90060-6}}</ref> beschriebenen, beruhen auf einer Art Musterabgleich. Auch hier extrahiert eine Hierarchie von Verarbeitungsebenen Merkmale, die zunehmend abstrakt und bezüglich irrelevanten Eigenschaften (wie der Identität des Sprechers bei der Klassifizierung von Phonemen) invariant sind.

====Aktive Wahrnehmungsmodelle====

Die Theorien der aktiven Wahrnehmung stellen eine völlig andere Sichtweise der Sprachwahrnehmung dar. Vertreter dieser Theorien argumentieren, dass es für das Gehirn energetisch ungünstig wäre, getrennte Systeme für die Sprach-Wahrnehmung und -Produktion zu verwenden. Als Schlussfolgerung wäre die Fähigkeit der Sprachwahrnehmung sehr eng mit der Sprachsynthese verbunden: Es wird vermutet, dass der initiale Versuch einer simplen Replikation des Gehörten essenziell für die Sprachwahrnehmung ist und die entsprechenden neuralen Schaltkreise sowohl für die Identifizierung als auch die Synthese der Phoneme zuständig sind. 

Die motorische Theorie der Sprachwahrnehmung (Liberman et al., 1967) besagt, dass Sprachlaute nicht durch irgendeine Art Musterabgleich identifiziert werden, sondern indem die sprachgenerierenden Mechanismen eine möglichst ähnliche Version des gehörten Sprachsignals erzeugen. Phoneme wären demnach nicht als distinktives Merkmal für die Spracherkennung, sondern als Anhaltspunkte (''Cue'') im prämotorischen Signal für den sprachgenerierenden Mechanismus zu verstehen. Die Theorie postuliert, dass die sprachgenerierenden Regionen des Gehirns durch Rückkoppelung mit dem Hörzentrum lernen, welches prämotorische Signal zu welchem Laut führt. Das Lallen von Babys, so wird argumentiert, diene dem Erlernen der Synthese dieser "Cue"-Laute aus dem prämotorischen Signal <ref>{{cite book|last1=Liberman|first1= A. M.| last2=Mattingly |first2=I. G. |last3=Turvey |first=M. T. |chapter=Language codes and memory codes |year=1967|title=Coding Processes in Human Memory|editor1-last=Melton|editor1-first=A. W.|editor2-last=Martin|editor2-first=E.|publisher=V. H. Winston & Sons|pages=307-334}}</ref>.

Eine ähnliche Idee wird im Modell der «Analyse durch Synthese» von Stevens und Halle verfolgt <ref>{{cite book|last1=Stevens |first1= K. N. |last2= Halle |first2=M.|year=1967 |chapter=Remarks on analysis by synthesis and distinctive features|editor-first=W. |editor-last=Wathen-Dunn|title=Models for the perception of speech and visual form: proceedings of a symposium| location=Cambridge, MA|publisher=MIT Press |pages=88–102}}</ref>. Die Autoren beschreiben ein generatives Modell, das versucht, ein zum eingehenden Ton ähnliches Signal zu erzeugen. Dieser Ansatz macht sich die Tatsache zunutze, dass die Mechanismen der Spracherzeugung bei allen Menschen ähnlich sind und dass die charakteristischen Merkmale der Sprache vom Sprecher reproduziert werden können. 

Während man den Ton hört, versuchen die Sprachzentren, das eintreffende Signal zu reproduzieren. Komparatoren liefern ein ständiges Feedback über die Qualität der Reproduktion. Die Wahrnehmung basiert demnach nicht auf der Abstraktion des ankommenden Schalls sondern vielmehr auf den prämotorischen Befehlen zur Erzeugung derselben Sprache.

Die motorischen Theorien erhielten einen schweren Schlag, als eine Reihe von Studien über die so genannte Broca-Aphasie veröffentlicht wurden. Diese neurologische Erkrankung verhindert die Sprachsynthese, ohne dabei das Sprachverständnis und damit die Fähigkeit der Sprachwahrnehmung zu beeinträchtigen. Die Existenz der Broca-Aphasie scheint demnach der Vorhersage der motorischen Theorie zu widersprechen, dass Produktion und Wahrnehmung von denselben Schaltkreisen gesteuert werden <ref>{{cite journal|last1=Hickok|first1=Gregory|title=The role of mirror neurons in speech and language processing|journal=Brain and Language|date=January 2010|volume=112|issue=1|pages=1–2|doi=10.1016/j.bandl.2009.10.006}}</ref>. 

====Aktuelle Modelle====
[[File:TRACE.PNG|thumb|500px|The TRACE model of speech perception. All connections beyond the input layer are bidirectional. Each unit represents some unit of speech such as a word of a phoneme.]]

Eines der einflussreichsten Computermodelle der Sprachwahrnehmung ist TRACE <ref>{{cite journal|last1=McClelland|first1=James L|last2=Elman|first2=Jeffrey L|title=The TRACE model of speech perception|journal=Cognitive Psychology|date=January 1986|volume=18|issue=1|pages=1–86|doi=10.1016/0010-0285(86)90015-0}}</ref>, welches im Aufbau einem rückgekoppelten neuronalen Netz mit drei Schichten gleicht. 

Die erste Schicht extrahiert temporale Merkmale aus dem Spektrogramm und simuliert damit im Grunde die Cochlea. Die zweite Schicht extrahiert Phoneme und die dritte Schicht bildet Wörter. Das Modell enthält exzitatorische Feed-Forward-Verbindungen (bottom-up), laterale inhibitorische Verbindungen und exzitatorische Feedback-Verbindungen (top-down). Im Modell entspricht jedes "Neuron" einer Wahrnehmungseinheit (z. B. dem Phonem /p/ oder dem Wort "Phonem"). 

Die Architektur des Modells ist so ausgelegt, dass die Einheiten innerhalb einer Schicht auf der Grundlage ihres Inputs um den stärksten Output konkurrieren. Die lateralen inhibitorischen Verbindungen führen zu einer Art ''Winner-takes-all''-Schaltung, bei der die Einheit mit dem stärksten Input ihre Nachbarn hemmt. Die Rückkopplungsverbindungen wiederum modellieren den Kontext, sodass beispielsweise Anfang und Ende eines Wortes die Erkennung eines Phonems beeinflussen können.

==Referenzen==