Reanalýza testu DISMAS: reliabilita a obsahová validita

Title:

Reanalýza testu DISMAS: reliabilita a obsahová validita
Reanalyzing the DISMAS test: reliability and content validity

Creator:

Cígler, Hynek, Širůček, Jan, Traspe, Pavel, and Skalková, Ivana

Identifier:

https://cdk.lib.cas.cz/client/handle/uuid:ed2f8692-3697-4e3d-92e5-7d53125af6a3
uuid:ed2f8692-3697-4e3d-92e5-7d53125af6a3

Subject:

DISMAS, CFA, konfirmační faktorová analýza, DIF, obsahová validita, reanalýza, confirmatory factor analysis, content validity, and reanalysis

Type:

article, model:article, and TEXT

Description:

Cílem textu je reanalýza testu Diagnostika struktury matematických schopností (Traspe a Skalková, 2013), který slouží k zjišťování obtíží v rozvoji matematických schopností u dětí ve věkovém rozmezí od doby těsně před nástupem do základní školy až do pátého ročníku. Test obsahuje 14 vývojových škál a celkové skóry, celkem je k dispozici 22 škál s percentilovými normami. Tato studie pracuje se standardizačním (N = 878) a poradenským (N = 877) vzorkem a zaměřuje se na tři hlavní témata: (1.) ověření reliability součtových skórů prostřednictvím stratifikovaného Cronbachovo alfa, ověření obsahové validity testu a jeho férovosti pomocí (2.) série konfirmačních faktorových analýz a (3.) analýzy diferenciálního fungování položek (DIF). Odhady reliability se zohledněním vícedimenzionální struktury součtových skórů docílily až dvakrát (v případě celkového skóre až třikrát) menších standardních chyb měření a tedy i intervalů spolehlivosti. Strukturní modely podpořily předpoklad slabé faktorové invariance u dětí v 2.–5. ročníku ZŠ vyjma subtestu automatizace početních dovedností (jehož vztah s celkovými matematickými schopnostmi vzrůstá spolu s věkem dětí), faktorová struktura pro žáky prvních tříd a předškolní děti je nicméně odlišná a v poradenské populaci pak nelze identifikovat žádné stabilní faktory. Ukázalo se ale také, že subtest matematické pojmy lze samostatně použít u běžné populace pro kratší skríning celkové úrovně matematických schopností. Jednotlivé škály se pak během analýzy DIF ukázaly být ne zcela invariantní napříč ročníky i oběma vzorky: zdá se tedy, že nižší skóre v testu nemusí znamenat jen „kvantitativně nižší“ míru schopností v příslušných rysech, ale do jisté míry též kvalitativní odlišnosti od běžné populace. Článek poskytuje konkrétní doporučení pro další používání testu v běžné diagnostické praxi. and The goal of this paper is the reanalysis of the Czech “Assessment of the structure of mathematical abilities” test (Traspe and Skalková, 2013), designed to assess problems related to the development of mathematical abilities in children aged approx. 5–11 years. The test contains 14 developmental scales and total scores – a total of 22 test scores with percentile norms. This study uses normative (N = 878) and clinical (N = 877) samples and focuses on three objectives: (1.) the estimation of composite scores reliability using stratified Cronbach's alpha; assessment of content validity and test fairness using (2.) a series of confirmatory factor analyses and (3.) differential item functioning analysis (DIF). Reliability estimates, which took into account the multidimensional structure of composite scores, led to a two-fold (in the case of total score, a three-fold) decrease in standard errors and narrower confidence intervals. Structural models supported the assumption of a weak factorial invariance between grades 2 to 5, except the Computing Automation subtest (the relationship of which with overall math ability strengthens with age). However, the factorial structures for first graders and younger children were different and there was no clear factor structure in the clinical sample. Results also suggested that the Mathematical Ideas subtest can serve as a screening method of the overall level of mathematical abilities. Single scales were not shown to be invariant according to the DIF analyses between grades and samples, which might mean that lower scores do not simply imply lower levels of mathematical ability, but also qualitative differences. This paper offers further recommendations for test use in common assessment situations.

Language:

Czech

Rights:

http://creativecommons.org/licenses/by-nc-sa/4.0/
policy:public

Source:

E-psychologie: elektronický časopis ČMPS | 2016 Volume:10 | Number:4

Harvested from:

CDK

Metadata only:

false