brille bild
brille bild

Wissenschaftliche Kritik

Studie von Prof. Dr. Werner Leitner an der IB Hochschule

 

Prof. Dr. Werner Leitner, Professor für Angewandte Psychologie an der IB Hochschule, untersucht derzeit mit quantitativen und qualitativen Forschungsmethoden eine neue flächendeckende Stichprobe von mehr als 250 familienpsychologischen Gutachten aus den Jahren 2013 und 2014. Er konnte bereits in der Vergangenheit (Stichprobe von 52 Gutachten aus den 1990er Jahren und Stichprobe von 70 Gutachten aus 2009/10) gravierende Mängel bei familienpsychologischen Gutachten nachweisen, die später auch von weiteren Forschern bestätigt wurden.

 

IB Hochschule

Gütekriterien wissenschaftlicher Testverfahren - ein notwendiger Exkurs 

 

Nach einer Studie des Experten für das Gutachterwesen in Deutschland - Dr. Leitner - erfüllen ein großer Prozentsatz der angewandten Tests in familienpsychologischen Gutachten nicht die Gütekriterien, die für ihre Aussagegültigkeit und ihre wissenschaftliche Haltbarkeit wichtig wären. Er untersuchte Testverfahren und überprüfte sie nach den feststehenden Richtlinien für die Erstellung psychologischer Gutachten.

 

Prof. Dr. Leitner (Prof. für Angewandte Psychologie / IB Hochschule Berlin):

 

Gütekriterien wissenschaftlicher Testverfahren - ein notwendiger Exkurs

 

Die Gütekritenen sind mit Lienert (1969) von elementarster Bedeutung dafür, ob ein Verfahren als solches im wissenschaftlichen Sinne überhaupt als Test bezeichnet werden kann. Letztlich sind sie also ganz elementare Standards dafür, ob oder inwieweit die mit seiner Hilfe gemachten Aussagen wissenschaftliche Aussagefähigkeit besitzen. Untereinander lassen sich die Gütekriterien im Hinblick auf ihre Wertigkeit in Haupt- und Nebengütekriterien unterteilen.

 

Objektivität

In der angloamenkanischen Literatur wird Objektivität i.S. eines Testgütekriteriums nicht immer einheitlich verwendet. So hat Cattell (vgl. Dorsch et al., 1994, S. 525; vgl. auch Hacker &- Stapf, 1998; beispielsweise diejenigen Testverfahren als »objektive Tests« bezeichnet, die von ihrer Absicht her nicht durchschaubar sind. Manche Autoren legen diesbezüglich ihr Augenmerk auf die Objektivität als Einheitlichkeit der Testvorlage. Von Lienert (1969, zitiert in Dorsch et al„ 1994, S. 525; vgl. auchHäcker & Stapf, 1998) wurde die Objektivität als Testgütekriterium für den deutschsprachigen Raum definiert als »Grad, in dem die Ergebnisse eines Tests unabhängig vom Unrersucher sind« (aaO). Bei dieser Definition steht die »interpersonelle Übereinstimmung« (aaO) im Vordergrund. Diese Übereinstimmung spielt im Hinblick auf die Durchführung (Durchführungsobjektivität), die Auswertung (Auswertungsobjektivität) und die Interpretation eine Rolle.

 

Reliabilität

Bei der Reliabilität handelt es sich um die Zuverlässigkeit einer Meßmethode bzw. eines standardisierten Testverfahrens, die angibt, mit welchem Grad der Genauigkeit ein solches Verfahren Ergebnisse liefert. Die Meßgenauigkeit wird dabei unter diesem Aspekt unabhängig von der Gültigkeit seiner Resultate untersucht. Beim Konzept der Reliabihtät wird davon ausgegangen, daß jede Messung gewissen Meßfehlern unterliegt, wobei die Ergebnisse aus der Sicht der klassischen Testtheorie einen wahren und einen Fehlervarianz-Anteil enthalten. Als Reliabilitäfskoeffizient läßt sich der Quotient zwischen wahrer Varianz und gesamter Varianz festlegen. Im Hinblick auf die Methoden der Reliabilitätsermittlung lassen sich mit der Retest-Methode, der Paralleltest-Methode und der Testhalbierungsmethode verschiedene Aspekte der Zuverlässigkeit unterscheiden (vgl. Dorsch et al., 1994, S.656f).

Nach den Standards für pädagogisches und psychologisches Testen, ausgearbeitet vom »Committee to Develop Standards for Educational and Psychological Testing« der »»American Educational Research Association (AERA)«, der »American Psychological Association, (APA)« und dem »National Council on Measurement in Education (NCME)« in der deutschen Fassung von Häcker, Leitner und Amelang(1998, S. 23) »(wird) unter Reliabiliiät... das Ausmaß verstanden, in dem Teswerte frei von Meßfehlern sind«. Aus diesen Ausführungen wird deutlich wie zuverlässig (oder besser unzuverlässig) Werte von Tests in psychologischen Gutachten für das Familiengericht sind, bei denen die Tests keine Reliabilität aufweisen.

 

Validität

Im Gegensatz zur Reliabitität wird bei der Validität (Gültigkeit) über den Grad der Genauigkeit einer Messung hinaus untersucht, inwieweit ein Verfahren tatsächlich die Verhaltensweise oder das Merkmal mißt, die/das es zu messen vorgibt (vgl. Lienert, 1969, zitiert in Dorsch et aJ.. 1994, S. 838; vgl, auchHäcker & Stapf, 1998). Hierbei lassen sich bestimmte Validitätsarten unterscheiden: inhaltliche Validität, kriteriumsbezogene Validität sowie Konstruktvalidität (vgl. Dorsch et al., 1994, S, 838 r; vgl. auchHacker & Stapf, 1998).

Nach den Standards für pädagogisches und psychologisches Testen, ausgearbeitet vom »Committee to Develop Standard« for Educational and Psychological Testing« der »American Educational Research Association (AERA) «,der » American Psychological Association (APA)« und dem »National Council on Measurement in Education (NCME)« in der deutschen Fassung von Häcker, Leutner und Amelang(1998, S. 10} »(gilt) die Ermittlung der Validität eines Tests... als wichtigster Aspekt der Testevaluation. Es wird dabei beurteilt, wie angemessen, wie bedeutsam und wie nützlich die spezifischen Schlußfolgerungen sind, die aus solchen Testwerten gezogen werden können. Der Prozeß, in dem empirische Belege für die Richtigkeit solcher Schlußfolgerungen akkumuliert werden, wird als Validierung bezeichnet«. (Häcker. Leitner und Amelang, 1998, S. 10). Aus diesen Ausführungen läßt sich ebenfalls sehr leicht erschließen, »wie angemessen, wie bedeutsam und wie nützlich« folglich Schlußfolgerungen aus Tests in psychologischen Gutachten für das Familiengericht sind, die keine Validität aufweisen. Im dazugehörigen Glossar dieser Standnrds wird Validität demzufolge definiert als »das Ausmaß, in dem eine bestimmte Schlußfolgerung aus einem Test angemessen oder bedeutsam ist, (aa0, S. 110).

 

Normierung

Ein wichtiges Nebengütekriterium neben den drei Hauptgütekrireriän Objektivität, Reliabilität und Validität ist die Normierung. Aus testtheoretischer Sicht handelt es sich bei dementsprechend vorhandenen Normenskalen um »Standardisierte Testskalen zur ökonomischen Vergleichbarkeit von Testwerten« [Dorsch et al.. 1994, S. 519, vgl. auch Hacker & Stapf, 1998). Solche Vergleichsmaßstäbe lassen sich auf Grund der Rohwertverteilungen erstellen und bilden eine wichtige Grundlage für die Befunderstellung, deren Brauchbarkeit über Güte und Wert eines Testverfahrens nicht unwesentlich mitentscheidet. 

 

 

 

Testverfahren im Überblick:

 

Häufigkeitsrangskala - Tests N=52 famifienpsychologische Gutachten 
 

1. Familie in Tieren (BREM.GRÄSER. 1995), 16 Anwendungen 
Gütekriterien nich BRICKENKAMP (1997,964,968 ff):

Objektivität

nein

Rellabilität

nein

Valldität:

nein

Normierung:

teilweise

 

2. Family-Relat.-Test (BENE & ANTHONY, 19S7), 16 Anwendungen 
Gütekriterien nach BRICKENKAMP: nicht verzeichnet

 

3. Fabeln (DÜSS, 1994), 13 Anwendungen 
Gütekriterien nach BRICKENKAMP (1975. 520ff);

Objektivität:

nein

Reliabllität:

nein

Validität

nein

Normierung:

ja

 

4. Satzergänzungstest, 11 Anwendungen 
Gütekriterien nach BRICKENKAM: nicht verzeichnet 

5. Kinder-ApperzeptionsTest (BELLAK & BELLAK, 1955), 8 Anwendungen 
Gütekriterien nach BRICKENKAMP (1997, 942,949f): 
 

Objektivität:

nein

Reliabilität

nein

Validität

nein

Normierung

nein

 

6. Mann-Zeichen-Test (ZILER, 1996), 7 Anwendungen 
Gütekriterien nach BRICKENKAMP 1997,964, 973 ff):

Objektivität:

ja

Reliabilität

teilweise

Validität

ja

Normierung

ja

 

7. Schloss-Zeichen-Test, 7 Anwendungen 
Gütekriterien nach BmCKENKAMP; nicht verzeichnet

 

8. Scenotest (VON STAABS, 1992), ' 7 Anwendungen 
Gütekriterien nach BRICKENKAMP (1997,964.981):

Objektivität:

teilweise

Reliabilität

teilweise

Validität

teilweise

Normierung

nein

 

Anmerkungen zum Family-Relations-Test (FRT)

 

Das zusammen mit dem im Hinblick auf die Gütekriterien völlig unzureichendem Test »Familie in Tieren«(Brem-Gräser; '1995) insgesamt am häufigsten eingesetzte Verfahren, der Family-Relations-Test von Bene und Anthony (1957), ist im Testhandbuch von Brickenkamp) (1997) explizit nicht verzeichnet. Seine Spitzenpostition in der Rangfolge verdankt das Verfahren insbesondere der Tatsache, daß es in Gutachten der Gesellschaft für wissenschaftliche Gerichts- und Rechtspsychologie (GWG) ausgesprochen häufig zum Einsatz kommt. Zwölf der insgesamt 16 Anwendungen dieses Verfahrens betreffen solche Gutachten. Insbesondere bei diesem Testverfahren läßt sich erkennen, daß ausgeprägte organisationsspezifische Besonderheiten beim Einsatz bestimmter Tests offenbar kaum von der Hand zu weisen sind.

 

Auf Grund seiner Häufigkeit in den vorliegenden familienpsychologischen Gutachten sollen zu diesem Testverfahren noch einige ergänzende Anmerkungen gemacht werden!

 

»Beim FRT handelt es sich um ein Verfahren, das in einer Übersetzung von Flämig und Wörner (1977) in Fassungen für vier- bis fünfjährige sowie für sechs- bis elfjährige Kinder vorliegt (vgl. 2 1995, S. 38). Beelmann referierte und diskutierte bei der Tagung der Fachgruppe Entwicklungspsychologie der Deutschen Gesellschaft für Psychologie e.V. in Leipzig im Jahre 1995 »neuere Untersuchungen mir dem Family Relations Test«. Hierbei wurde deutlich, daß die Validität dieses Verfallruns zum gegenwärtigen Zeitpunkt keineswegs als gesichert gelten kann, Im Rahmen seines Vortrages und der anschließenden Diskussion bezeichnete Beelmann den Umgang mit diesem Verfahren in der diagnostischen Praxis zudem als »haarsträubend« und verwies in diesem Zusammenhang u.a. darauf, daß aus ökonomischen Gründen bei der praktischen Durchführung häufig instruktionsinadaquate Modifikationen vorgenommen werden.

 

(Quelle: Dr. phil Werner G. Leitner, Approbierter Psychologischer Psychotherapeut, Leitner in Familie und Recht 2/2000  ISSN 0937-2180, Zur Mängelerkennung in familienpsychologischen Gutachten)

Gravierende Eingriffe in Lebenswege von Kindern: Gutachten oft mangelhaft

 

Studie der FernUniversität wertete 116 Gutachten im OLG-Bezirk Hamm aus

 

„Erhebliche handwerkliche Fehler“ bei der Erstellung rechtspsychologischer Gutachten haben Prof. Dr. Christel Salewski und Prof. Dr. Stefan Stürmer vom Institut für Psychologie der FernUniversität in Hagen festgestellt, als sie jetzt in einer Studie 116 Gutachten aus den Jahren 2010 und 2011 im Bezirk des Oberlandesgerichts Hamm untersuchten. Insbesondere fanden sie zahlreiche mangelnde psychologische Fundierungen des gutachterlichen Vorgehens und den Einsatz fragwürdiger Diagnoseinstrumente: „Tatsächlich erfüllt nur eine Minderheit der Gutachten die fachlich geforderten Qualitätsstandards“, so Prof. Salewski. Ein Zusammenhang zwischen rechtspsychologischer Fachausbildung und Qualität der Gutachten liegt für beide Wissenschaftler nahe.

 

187.027 Ehen wurden im Jahr 2010 in Deutschland geschieden, 145.146 Kinder erlebten dadurch einschneidende Änderungen in ihrem Leben – hinzu kommen noch die Trennungen nichtehelicher Lebensgemeinschaften (die vom Statistischen Bundesamt nicht erfasst werden). Bei besonders heftigen Streitigkeiten über elterliche Sorge, Aufenthalt der Kinder oder Umgangsrecht sollen Psychologinnen und Psychologen als Sachverständige Empfehlungen für die Richterinnen und Richter erarbeiten, deren Entscheidungen den Lebensweg der Kinder oft gravierend beeinflussen.

 

Viele dieser familienrechtspsychologischen Gutachten weisen jedoch schwerwiegende Qualitätsmängel auf, stellten Prof. Christel Salewski und Prof. Stefan Stürmer in ihrer Studie „Psychologische Gutachten für das Familiengericht: Diagnostische und methodische Standards in der Begutachtungspraxis“ fest.

 

 

Prof. Salewski (Lehrgebiet Gesundheitspsychologie) und Prof. Stürmer (Sozialpsychologie) untersuchten 116 familienrechtspsychologische Gutachten aus den Jahren 2010 und 2011 aus dem Bezirk des Oberlandesgerichts Hamm. 91,4 Prozent davon wurden von Diplom- oder M.Sc.-Psychologen verfasst. Sie stellten fest, dass in 56 Prozent der Gutachten aus der gerichtlichen Fragestellung keine fachpsychologischen Arbeitshypothesen abgeleitet wurden Diese „Psychologischen Fragen“ strukturieren den Begutachtungsprozess und sind damit eine grundlegende Voraussetzung für ein aussagekräftiges Gutachten: „Der Gutachter muss die gerichtliche Fragestellung in ‚Psychologische Fragen‘ übersetzen und dann geeignete diagnostische Verfahren auswählen, um diese Fragen beantworten zu können“, erläutert Christel Salewski.

 

In 85,5 Prozent der Gutachten wurde die Auswahl der eingesetzten diagnostischen Verfahren nicht anhand der „Psychologischen Fragen“ begründet. Bei 41 Gutachten (35 Prozent) erfolgte die Datenerhebung ausschließlich über methodisch problematische Verfahren wie unsystematische Gespräche und ungeplante Beobachtungen, keine oder psychometrisch ungenügende projektive Tests bzw. testähnliche Verfahren. Lediglich in zwei dieser Fälle wurde auf mögliche methodische Einschränkungen der Ergebnisse hingewiesen. Je nachdem, welche Kriterien zugrunde gelegt wurden, beurteilten die beiden Hagener Wissenschaftler ein Drittel bis mehr als die Hälfte der Gutachten als fehlerhaft.

 

Ihre Analysen zum Qualifikationshintergrund der Sachverständigen zeigten allerdings, dass die Qualifikation zum „Fachpsychologen Rechtspsychologie“ mit einer nachweislich höheren Qualität der Gutachten einhergeht. Ca. ein Drittel der Gutachten wurde von Fachpsychologen für Rechtspsychologie erstellt, die von der Deutschen Gesellschaft für Psychologie e.v. (DGPs) bzw. dem Berufsverband Deutscher Psychologinnen und Psychologen e.V. (BDP) zertifiziert wurden. Die Qualität ihrer Gutachten war nachweislich höher als die der anderen Gutachter.

 

Für Christel Salewski sind die Ergebnisse ihrer Studie „alarmierend“: „Die Richter stützen ihre Entscheidungen in starkem Maße durch die in den Gutachten ausgewiesenen Empfehlungen. Man darf nicht vergessen, dass hier Kinder involviert sind, über deren weiteres Leben gerichtliche Entscheidungen gefällt werden. Der Gutachter muss daher in seinem Bericht alle Informationen zu seinem Vorgehen eindeutig und ausführlich darstellen. Nur so kann ein ausreichendes Maß an Transparenz und Nachvollziehbarkeit sichergestellt werden.“

Auch eine verbesserte Zusammenarbeit zwischen Richtern und Psychologen könnte nach Prof. Salewskis Ansicht helfen, die Qualität zu steigern: „Ein intensiverer interdisziplinärer Austausch zwischen Richterschaft und Psychologen über den Begutachtungsprozess würde dazu beitragen, dass qualifizierte Gutachten und sorgfältig arbeitende Gutachter künftig besser erkennbar werden.“

 

Das Justizministerium des Landes Nordrhein-Westfalen hat die Studie unterstützt und nahm sie zum Anlass, das Bundesministerium für Justiz und Verbraucherschutz im Hinblick auf einen verbesserten Dialog zwischen Richtern und Sachverständigen einzuschalten. Das Berliner Justizministerium plant hierzu eine Veranstaltung und hat die beiden FernUni-Wissenschaftler zu einer Vorbesprechung am 8. Juli eingeladen.

 

Fernuni Hagen wertete 116 Gutachten im OLG-Bezirk Hamm aus

Druckversion Druckversion | Sitemap
Fotos: Jenni C Flickr Commons