EXAMINING GUIDELINES FOR DEVELOPING ACCURATE PROFICIENCY LEVEL SCORES

Abstract

One attempt to make scores from large‐scale assessments more interpretable has been to provide proficiency level scores to describe the meaning of student performance on tests. This study has examined the accuracy of Ercikan and Julian’s (2002) guidelines for developing proficiency level scores and the classification accuracy of proficiency level scores from British Columbia’s Foundation Skills Assessment tests. The guidelines were examined by comparing expected classification accuracies, based on these guidelines, to those estimated using a statistical procedure. The guidelines provided accurate expected classification accuracies to use in making decisions about assessment design.

Key words: proficiency level scores, classification accuracy, assessment design, reliability

L’une des façons utilisées pour faciliter l’interprétation des résultats d’épreuves communes a été de fournir des scores de rendement comparatifs en fonction de normes de référence. Dans cet article, les auteurs analysent la pertinence des directives d’Ercikan et Julian (2002) ayant trait à l’élaboration des scores de rendement et l’exactitude du classement des scores de rendement dans les tests d’évaluation des compétences fondamentales en Colombie‐Britannique. L’analyse des directives a donné lieu à une comparaison entre l’exactitude du classement en fonction des directives et l’exactitude du classement obtenue par une méthode statistique. Les directives ont produit des classements exacts et conformes aux prévisions et peuvent servir dans les décisions à prendre au sujet de la conception des évaluations.

Mots clés : scores de rendement, exactitude du classement, conception de l’évaluation, fidélité