신뢰도: 어떤 측정기구가 동일한 현상을 반복해서 측정할 수 있는 능력을 말한다.
- 측정된 값들의 유사성(similarity)을 알아보려 할 때 일치도(agreement)가 얼마나 되는지를 평가한다.
종류
- 검사-재검사 신뢰도(test-retest reliability)
- 평가자 신뢰도(rater reliability)
- 내적 일치도(internal consistency)
* 신뢰도가 떨어지는 이유
- 측정도구 자체의 결함
- 측정자 혹은 검사자가 검사를 부정확하게 하거나 일관성이 없게 적용한 경우
- 측정하려는 현상/대상 자체가 변화가 심한 경우
1. 검사-재검사 신뢰도
: 측정도구들을 이용하여 두 번 이상의 일정한 시점을 두고 반복해서 측정한 후 처음 측정한 값과 나중에 측정한 값이 어느 정도 비슷한가를 알아보는 것
ex.동통사상척도ex. 동통사상척도(VAS), 측력계(dynamometer), 측각계(goniometer), 폐활량계(sprometer), 체중계(scale), 근전도기계, 균형감각 측정 장비, 줄자 등
- 즉 한 개의 측정도구를 동일한 환자 혹은 피험자에게 두 번 이상 실시하여 그 전후의 결과에서 얻은 점수로 상관계수를 산출하는 접근 방법
- 두 시점간의 측정값들 간에 상관계수가 높으면 그 도구의 신뢰도는 높다.
- 안정성 계수(coefficient of stability) : 처음 실시했을 때의 점수와 나중에 실시했을 때 얻은 점수가 얼마나 변동 없이 안정성을 유지하는지 본다는 점에서 ‘안정성 계수’라고도 한다.
1) 문제점
- 첫 번째와 두 번째 검사의 실시 간격을 어떻게 정할 것인가?
검사 실시 간격이 짧으면 신뢰도는 높아지고 멀어지면 신뢰도는 낮아진다.
검사 간격이 너무 짧으면 첫 번째 검사에서의 기억, 연습 효과 등이 두 번째 검사에 영향을 미칠 수 있다.
- 두 번의 검사 실시에서의 피험자의 내적 동기 상태, 태도, 지시사항 등을 똑같게 하기 어렵다.
= 검사-재검사 신뢰도가 떨어지는 도구라면 이 도구를 이용하여 얻은 측정값의 변화가 대상자의 상태가 변해서 생긴 것인지 측정도구 자체의 불안정성에 기인한 것인지 알 수가 없다.
2. 동형 검사 신뢰도
: 어떤 한 검사의 내용과 난이도는 같으나 한 문항의 형태가 다른 두 개의 동형 검사를 제작하고, 그것을 같은 피험자 집단에게 실시하여 두 동형 검사에서 얻은 점수 사이의 상관계수를 구하여 신뢰도 계수를 얻는 방법
= 동등성 계수 또는 동형성 계수(coefficient of equivalence)
1) 문제점
- 실제로 난이도가 같으면서 같은 특성을 잴 수 있는 문항을 만들기가 무척 어렵다.
*검사-재검사 신뢰도 : 동일 대상, 동일 검사를 두 번 시행
*동형 검사 신뢰도 : 동일 대상, 두 개의 비슷한 검사 한 번에 시행
3. 측정자 신뢰도(Rater reliability)
: 측정자들이 측정도구를 이용하여 일관성 있는 결과를 얻고 있는가?
1) 측정자 내 신뢰도(검사자, 관찰자 내 신뢰도, intrarator reliability, intratester reliability, intraobserver reliability)
: 1명의 측정자가 비디오로 측정한 대상자들을 평가, 10일 뒤 같은 측정자가 같은 비디오를 시청 후 평가 한 값이 유사한 정도
2) 측정자 간 신뢰도(검사자, 관찰자 간 신뢰도, inerrater reliability, intertester reliability, interobserver reliability)
: 두 명 이상의 측정자가 같은 대상자에게 같은 측정값을 부여하고 있는지 정도
- 측정자 간 신뢰도 평가하는 방법
: Kappa, 분산분석, 급내 상관계수(intraclass correlation coefficient), 순위상관분석 등
4. 내적 일치도(Internal consistency)
: 설문지 형태의 연구에서 측정하는 항목들이 동일한 특성들을 측정하고 있는지 알아보는 데 사용.
- 동질적 검사, 역량 검사(검사시간의제한 없음) 일수록 높은 신뢰도를 주며, 이질적인 속도검사(시간 제한 있음) 일수록 왜곡된 신뢰도가 나온다.
1) 반분법(split-half method)
ex) 짝수 항목과 홀수 항목들로 나누어 점수 비교하여 상관계수 구하여 확인
2) 평가항목 신뢰도(test item reliability)
: 한 평가 도구에서 한 항목이 다른 항목들 간의 관련성을 비교하여 그 항목의 신뢰도를 비교하는 것.
- 대표적인 내적 일치도 검사
. Cronbach 의 알파(α)
. SPSS : 각 문항과 전체 문항과의 상관계수, 각 문항을 삭제할 경우의 전체 상관계수 등을 제시해 줌으로써 내적 일치도를 검정할 수 있다.
. Kuder-Richardson Formula 20(KR-20) : 측정할 척도가 이분(예/아니오 등) 문항으로 구성되어 있을 때 사용
5. 피험자내 신뢰도(Intrasubject reliability)
: 피험자로부터 측정하려고 하는 특성이 변화가 많은 경우 고려해야 할 사항으로, 측정자가 신뢰할 만한 측정도구를 갖고 잇고 또 완벽하게 신뢰할 만한 검사자인 경우를 제외하고는 변화가 많은 특성을 한 번에 측정하기가 어렵다.
- 따라서 대부분의 검사-재검사 신뢰도를 계산할 때 측정도구의 오차, 검사자 오차, 그리고 피험자내 변이들이 혼합되어 반영된다.
6. 측정오차(Measurement error)
1) 확률오차(random error) = 비체계적 오차(non-systematic error)
: 아무리 정확하게 측정하려 노력하여도 어쩔 수 없이 일어나는 오차
2) 비확률오차(nonrandom error) = 체계적 오차(systematic error) = 편향(bias)
: 측정결과가 한쪽으로 일관되게 치우쳐져 나타나는 현상
7. 측정의 표준오차(Standard error of measurement, SEM)
: 측정값을 가지고 참값(true score)을 추정할 때 생기는 오차의 정도
8. 신뢰도와 타당도와의 관계
