Title (deu)
Vergleich der Itemparameterschätzungen bei konventioneller Vorgabe und Vorgabe nach dem branched-testing Design im AID
Author
Veronika Necker
Advisor
Klaus Kubinger
Assessor
Klaus Kubinger
Abstract (deu)
Neuere Simulationsstudien (vgl. z.B. Kubinger, Steinfeld, Reif & Yanagida, 2012) bestätigen die Ergebnisse von Glas (1988) und weisen auf Verzerrungen in den Schätzungen der Itemparameter beim adaptiven Testen hin. In der vorliegenden Untersuchung werden die Itemparameterschätzungen bei adaptiver und konventioneller Testvorgabe empirisch verglichen. Die Intelligenztest-Batterie AID (Adaptives Intelligenz Diagnostikum, aktuelle Version 3.1, Kubinger & Holocher-Ertl, 2014) verfährt nach dem branched-testing Design, einer Strategie des adaptiven Testens. 295 oberösterreichische Schüler/innen zwischen 6;0 und 15;11 Jahren wurden mit Untertest 1 („Alltagswissen“) und Untertest 11 („Soziales Erfassen und Sachliches Reflektieren“) aus dem AID 3 konventionell getestet. Die daraus resultierenden Item- und Personenparameter der konventionellen Bedingung wurden den aus dem AID 3 bekannten Parametern in der branched-adaptiven Bedingung grafisch gegenübergestellt. Ihre Differenzen wurden je Bedingung tabelliert und in Differenzdiagrammen veranschaulicht. Die vorliegende Untersuchung ergab, dass die Verzerrungen im mittleren Schwierigkeits- und Fähigkeitsbereich vernachlässigbar waren. In den Extrembereichen zeigten sich jedoch deutliche Abweichungen je Testvorgabe. Die Itemparameter wurden im unteren Schwierigkeitsbereich in der branched-adaptiven Bedingung systematisch unter-, im oberen Bereich überschätzt. Analog dazu verhielt es sich mit den Schätzungen der Personenparameter. Für die psychologische Praxis relevant ist der hohe Rangkorrelationskoeffizient zwischen den Personenparametschätzungen. Die Rangreihung der Testpersonen nach ihren Fähigkeiten blieb vom Testdesign unbeeinflusst.
Abstract (eng)
Glas´ (1988) findings of biased item parameter estimations in adaptive testing haven been verified by the outcomes of the latest simulation studies (e.g. Kubinger, Steinfeld, Reif & Yanagida, 2012). This paper seeks to empirically identify differences in item and person parameter estimations of an aptitude test administered according to conventional and branched-testing design. 295 students between the age of 6;0 and 15;11 years were conventionally tested in schools in Upper-Austria with 2 subtests of the widely used intelligence test-battery AID (Adaptive Intelligence Diagnosticum, latest edition, 3.1., Kubinger & Holocher-Ertl, 2014). Subtest 1 („Alltagswissen“) and subtest 11 („Soziales Erfassen und Sachliches Reflektieren“) were administered. The item and person parameter estimations in the branched-adaptive condition from the AID 3 were graphically compared to the parameter estimations of the conventional condition. The absolute differences between conditions were listed in tables and shown in corresponding diagrams. The estimation bias was negligible for the average difficulty and competence estimations, but bigger for the extreme difficulties and abilities. Item difficulty of very easy items was underestimated, while it was overestimated for very difficult ones. The same principle applied for the ability parameter estimations. Spearman´s correlation coefficient for the person parameter estimations was very high. The rank order of all testees remained constant between conditions.
Keywords (eng)
adaptive testingbranched-adaptive testingconventional testingAdaptive Intelligence Diagnosticum (AID)person paramter estimationitem parameter estimation
Keywords (deu)
adaptives Testenbranched-adaptives Testenkonventionelles Testen Adaptives Intelligenz Diagnostikum (AID)ItemparameterschätzungenPersonenparameterschätzungen
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1322538
rdau:P60550 (deu)
89 Seiten : Illustrationen
Number of pages
89
Association (deu)
Title (deu)
Vergleich der Itemparameterschätzungen bei konventioneller Vorgabe und Vorgabe nach dem branched-testing Design im AID
Author
Veronika Necker
Abstract (deu)
Neuere Simulationsstudien (vgl. z.B. Kubinger, Steinfeld, Reif & Yanagida, 2012) bestätigen die Ergebnisse von Glas (1988) und weisen auf Verzerrungen in den Schätzungen der Itemparameter beim adaptiven Testen hin. In der vorliegenden Untersuchung werden die Itemparameterschätzungen bei adaptiver und konventioneller Testvorgabe empirisch verglichen. Die Intelligenztest-Batterie AID (Adaptives Intelligenz Diagnostikum, aktuelle Version 3.1, Kubinger & Holocher-Ertl, 2014) verfährt nach dem branched-testing Design, einer Strategie des adaptiven Testens. 295 oberösterreichische Schüler/innen zwischen 6;0 und 15;11 Jahren wurden mit Untertest 1 („Alltagswissen“) und Untertest 11 („Soziales Erfassen und Sachliches Reflektieren“) aus dem AID 3 konventionell getestet. Die daraus resultierenden Item- und Personenparameter der konventionellen Bedingung wurden den aus dem AID 3 bekannten Parametern in der branched-adaptiven Bedingung grafisch gegenübergestellt. Ihre Differenzen wurden je Bedingung tabelliert und in Differenzdiagrammen veranschaulicht. Die vorliegende Untersuchung ergab, dass die Verzerrungen im mittleren Schwierigkeits- und Fähigkeitsbereich vernachlässigbar waren. In den Extrembereichen zeigten sich jedoch deutliche Abweichungen je Testvorgabe. Die Itemparameter wurden im unteren Schwierigkeitsbereich in der branched-adaptiven Bedingung systematisch unter-, im oberen Bereich überschätzt. Analog dazu verhielt es sich mit den Schätzungen der Personenparameter. Für die psychologische Praxis relevant ist der hohe Rangkorrelationskoeffizient zwischen den Personenparametschätzungen. Die Rangreihung der Testpersonen nach ihren Fähigkeiten blieb vom Testdesign unbeeinflusst.
Abstract (eng)
Glas´ (1988) findings of biased item parameter estimations in adaptive testing haven been verified by the outcomes of the latest simulation studies (e.g. Kubinger, Steinfeld, Reif & Yanagida, 2012). This paper seeks to empirically identify differences in item and person parameter estimations of an aptitude test administered according to conventional and branched-testing design. 295 students between the age of 6;0 and 15;11 years were conventionally tested in schools in Upper-Austria with 2 subtests of the widely used intelligence test-battery AID (Adaptive Intelligence Diagnosticum, latest edition, 3.1., Kubinger & Holocher-Ertl, 2014). Subtest 1 („Alltagswissen“) and subtest 11 („Soziales Erfassen und Sachliches Reflektieren“) were administered. The item and person parameter estimations in the branched-adaptive condition from the AID 3 were graphically compared to the parameter estimations of the conventional condition. The absolute differences between conditions were listed in tables and shown in corresponding diagrams. The estimation bias was negligible for the average difficulty and competence estimations, but bigger for the extreme difficulties and abilities. Item difficulty of very easy items was underestimated, while it was overestimated for very difficult ones. The same principle applied for the ability parameter estimations. Spearman´s correlation coefficient for the person parameter estimations was very high. The rank order of all testees remained constant between conditions.
Keywords (eng)
adaptive testingbranched-adaptive testingconventional testingAdaptive Intelligence Diagnosticum (AID)person paramter estimationitem parameter estimation
Keywords (deu)
adaptives Testenbranched-adaptives Testenkonventionelles Testen Adaptives Intelligenz Diagnostikum (AID)ItemparameterschätzungenPersonenparameterschätzungen
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1322539
Number of pages
89
Association (deu)
License
Citable links
Other links
Managed by
Details
Metadata
Export formats
Universitätsring 1, 1010 Wien | T
T +43-1-4277-0