You are here: University of Vienna PHAIDRA Detail o:1302916
Title (eng)
Methods of dimensionality assessment in psychological measurement and their application to cognitive assessment
Parallel title (deu)
Methoden der Erfassung der Dimensionalität in psychologischen Messungen und ihre Anwendung bei kognitiven Testungen
Author
Rudolf Debelak
Adviser
Georg Gittler
Assessor
Alexander von Eye
Assessor
Ivo Ponocny
Abstract (deu)
Die vorliegende Arbeit beschreibt und beurteilt verschiedene Methoden zur Erfassung der Anzahl zugrundeliegender Dimensionen in der Bewertung und Entwicklung psychologischer Testverfahren. Sie umfasst drei Studien, von denen die ersten beiden exploratorische Verfahren zur Beurteilung der Dimensionalität einer Aufgabengruppe untersuchen. Die erste Studie untersuchte einen Algorithmus zur Gruppierung von Aufgaben im Kontext des Rasch-Modells. Das Ziel des untersuchten Algorithmus besteht im Finden von Aufgabengruppen, die eine gute Passung auf das Rasch-Modell zeigen, und dem Ausschließen von Aufgaben, welche Modellverletzungen zeigen. Dieser Ansatz wurde mit Hilfe einer Simulationsstudie untersucht, welche die Resultate dieses Algorithmus mit denen einer Hauptkomponentenanalyse tetrachorischer Korrelationen verglich. Es zeigte sich, dass der untersuchte Algorithmus zu praktisch verwertbaren Ergebnissen führt, insbesondere wenn Daten von großen Personenstichproben untersucht werden. Die zweite Studie untersuchte die Hauptkomponentenanalyse geglätteter tetrachorischer Korrelationsmatrizen als Maß für die Dimensionalität, wieder durch Anwendung einer Simulationsstudie. Indem die Ergebnisse verschiedener Glättungsalgorithmen verglichen wurden, zeigte sich, dass die Anwendung von Glättungsalgorithmen unter zahlreichen Bedingungen zu verbesserten Ergebnissen in der Messung der Dimensionalität führte. Die dritte Studie veranschaulichte einen konfirmatorischen Ansatz zur Modellierung von Antworten und Antwortzeiten durch dessen Anwendung auf zwei Aufgabentypen zur Erfassung mentaler Rotation. Diese Studie prüfte die Hypothese, dass die allgemein bekannten Geschlechtsunterschiede in der Fähigkeit zur mentalen Rotation durch Geschlechtsunterschiede in der Verarbeitungsgeschwindigkeit mentaler Rotationsaufgaben verursacht werden. Nachdem Fähigkeit und Verarbeitungsgeschwindigkeit modelliert wurden, zeigte sich, dass bei beiden Aufgabentypen nur Unterschiede in der Fähigkeit zur mentalen Rotation gefunden werden konnten, nicht jedoch in der entsprechenden 93 Verarbeitungsgeschwindigkeit. Zudem wurde eine negative Korrelation zwischen Verarbeitungsgeschwindigkeit und Fähigkeit gefunden, was mit den Ergebnissen, welche für andere Fähigkeitstests gefunden wurde, übereinstimmt.
Abstract (eng)
This doctoral thesis describes and evaluates different methods of dimensionality assessment in psychological test evaluation and development. It consists of three studies, of which the first two investigate exploratory procedures to determine the dimensionality of an item set. The first study examined an approach for clustering items in Rasch measurement. The purpose of the examined algorithm is to find item clusters which show a good fit to the Rasch model while excluding items which show model violations. This approach was evaluated by the means of a simulation study, which compared the results of this algorithm with the results obtained from the application of a principal component analysis of tetrachoric correlations. It was found that the examined algorithm leads to practically usable results, especially for the analysis of data from large person samples. The second study investigated the principal component analysis of smoothed tetrachoric correlation matrices as a measure of dimensionality, again by the means of a simulation study. By comparing the results of several smoothing algorithms, it was found that the application of smoothing algorithms to the principal component analysis of tetrachoric correlations led to improved results in the assessment of dimensionality under multiple conditions. The third study exemplified a confirmatory approach for modeling responses and response times by applying it to two types of mental rotation tasks. This study investigated the hypothesis that the well-known gender differences in mental rotation ability are caused by gender differences in mental rotation speed. After modeling both speed and ability, it was found for both task types that gender differences could only be observed for mental rotation ability, but not for mental rotation processing speed. Furthermore, a negative correlation between speed and ability could be observed in both mental rotation tasks, which was in line with results obtained for other ability tests.
Keywords (eng)
Test theoryRasch modelPrincipal Component AnalysisReaction Time Modelling
Keywords (deu)
TesttheorieRasch-ModellHauptkomponentenanalyseModellierung von Reaktionszeiten
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1302916
rdau:P60550 (deu)
97 S.
Number of pages
97
Association (deu)
Members (1)
Title (eng)
Methods of dimensionality assessment in psychological measurement and their application to cognitive assessment
Parallel title (deu)
Methoden der Erfassung der Dimensionalität in psychologischen Messungen und ihre Anwendung bei kognitiven Testungen
Author
Rudolf Debelak
Abstract (deu)
Die vorliegende Arbeit beschreibt und beurteilt verschiedene Methoden zur Erfassung der Anzahl zugrundeliegender Dimensionen in der Bewertung und Entwicklung psychologischer Testverfahren. Sie umfasst drei Studien, von denen die ersten beiden exploratorische Verfahren zur Beurteilung der Dimensionalität einer Aufgabengruppe untersuchen. Die erste Studie untersuchte einen Algorithmus zur Gruppierung von Aufgaben im Kontext des Rasch-Modells. Das Ziel des untersuchten Algorithmus besteht im Finden von Aufgabengruppen, die eine gute Passung auf das Rasch-Modell zeigen, und dem Ausschließen von Aufgaben, welche Modellverletzungen zeigen. Dieser Ansatz wurde mit Hilfe einer Simulationsstudie untersucht, welche die Resultate dieses Algorithmus mit denen einer Hauptkomponentenanalyse tetrachorischer Korrelationen verglich. Es zeigte sich, dass der untersuchte Algorithmus zu praktisch verwertbaren Ergebnissen führt, insbesondere wenn Daten von großen Personenstichproben untersucht werden. Die zweite Studie untersuchte die Hauptkomponentenanalyse geglätteter tetrachorischer Korrelationsmatrizen als Maß für die Dimensionalität, wieder durch Anwendung einer Simulationsstudie. Indem die Ergebnisse verschiedener Glättungsalgorithmen verglichen wurden, zeigte sich, dass die Anwendung von Glättungsalgorithmen unter zahlreichen Bedingungen zu verbesserten Ergebnissen in der Messung der Dimensionalität führte. Die dritte Studie veranschaulichte einen konfirmatorischen Ansatz zur Modellierung von Antworten und Antwortzeiten durch dessen Anwendung auf zwei Aufgabentypen zur Erfassung mentaler Rotation. Diese Studie prüfte die Hypothese, dass die allgemein bekannten Geschlechtsunterschiede in der Fähigkeit zur mentalen Rotation durch Geschlechtsunterschiede in der Verarbeitungsgeschwindigkeit mentaler Rotationsaufgaben verursacht werden. Nachdem Fähigkeit und Verarbeitungsgeschwindigkeit modelliert wurden, zeigte sich, dass bei beiden Aufgabentypen nur Unterschiede in der Fähigkeit zur mentalen Rotation gefunden werden konnten, nicht jedoch in der entsprechenden 93 Verarbeitungsgeschwindigkeit. Zudem wurde eine negative Korrelation zwischen Verarbeitungsgeschwindigkeit und Fähigkeit gefunden, was mit den Ergebnissen, welche für andere Fähigkeitstests gefunden wurde, übereinstimmt.
Abstract (eng)
This doctoral thesis describes and evaluates different methods of dimensionality assessment in psychological test evaluation and development. It consists of three studies, of which the first two investigate exploratory procedures to determine the dimensionality of an item set. The first study examined an approach for clustering items in Rasch measurement. The purpose of the examined algorithm is to find item clusters which show a good fit to the Rasch model while excluding items which show model violations. This approach was evaluated by the means of a simulation study, which compared the results of this algorithm with the results obtained from the application of a principal component analysis of tetrachoric correlations. It was found that the examined algorithm leads to practically usable results, especially for the analysis of data from large person samples. The second study investigated the principal component analysis of smoothed tetrachoric correlation matrices as a measure of dimensionality, again by the means of a simulation study. By comparing the results of several smoothing algorithms, it was found that the application of smoothing algorithms to the principal component analysis of tetrachoric correlations led to improved results in the assessment of dimensionality under multiple conditions. The third study exemplified a confirmatory approach for modeling responses and response times by applying it to two types of mental rotation tasks. This study investigated the hypothesis that the well-known gender differences in mental rotation ability are caused by gender differences in mental rotation speed. After modeling both speed and ability, it was found for both task types that gender differences could only be observed for mental rotation ability, but not for mental rotation processing speed. Furthermore, a negative correlation between speed and ability could be observed in both mental rotation tasks, which was in line with results obtained for other ability tests.
Keywords (eng)
Test theoryRasch modelPrincipal Component AnalysisReaction Time Modelling
Keywords (deu)
TesttheorieRasch-ModellHauptkomponentenanalyseModellierung von Reaktionszeiten
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1302917
Number of pages
97
Association (deu)