2. 외적타당도(External validity)
: 한 연구의 결과를 어떤 모집단에, 어떤 상태에, 어떤 처치변수에, 어떤 측정변수에 일반화할 수 있느냐 하는 문제와 관련된다.
* 외적 타당도를 낮추는 요인 = 일반화에 위협이 되는 요소
1) 대상자 선정(Subject selection)
: 일반화라는 것은 표본(연구대상자)에서 발견된 결과가 모집단에서도 어느 정도 발견될 것인가 하는 것이다.
- 연구 표본이 모집단을 대표하는가, 표본과 모집단의 특성이 얼마나 같은가
2) 실험환경(Setting)
: 재활병원에서 운동프로그램과 기능수준 향상에 대한 연구가 이루어 졌다면, 이 결과가 양로원이나 가정방문 치료에서도 반드시 일반화될 수는 없을 것이다.
3) 시간(Time)
: 실험이 진행되었던 시점에서 벗어나 다른 시점에서 연구가 진행되면 일반화(결과)가 달라질 수 있다.
4) 피험자의 호오손 효과(Hawthorne effect)
: 대상자가 실험에 참가할 때마다 그들은 특별한 관심을 받는다. 이 특별한 관심이 피험자의 태도를 바꾸게 되고 실제 상황에서 보이는 것보다 더 좋은 성적을 보이게 된다.
5) 연구자 효과(Researcher effect)
: 실험자의 사회심리적인 특성도 중요한 요소이다.
대상자를 대할 때 적대감, 권위의식, 온정, 친절, 이런 것이 모두 실험에 영향을 준다.
- 로젠달 효과 : 연구자들의 기대가 결과에 영향을 미치는 현상 ( 연구자의 기대에 일치하지 않는 부분에 낮은 점수 부여 )
- 피그말리온 효과 : 타인의 기대나 관심으로 인하여 결과가 좋아지는 현상으로 로젠달 효과와 비슷한 개념으로 사용 됨.
6) 다중처치(Multitreatments)
: 한 연구에서 대상자가 독립변수로 한 처치 이상을 받았다면 그 결과는 한 처치만을 받은 다른환경에 일반화될 수 없다.
여러 처치를 받은 실험결과와 한 가지 처치만을 받은 실험결과는 다르게 나올 수 있다.
< 연구자들은 결과를 보고할 때 자신의 연구결과에 있어서 일반화를 하기에 제한이 되는 점들을 기술해야한다 >
*천장효과(ceiling effect)
: 모두 만점에 가까운 성적을 보여서 측정도구의 변별력을 알아내기 어려운 경우를 말한다.
*바닥효과(floor effect)
: 과제 혹은 검사가 너무 어려워서 대부분의 대상자들이 과제 혹은 검사를 수행하지 못하는 경우를 말한다.
과제 또는 검사가 너무 어려워 일정 수준 이하에 속한 사람들의 차이를 변별할 수 없는 경우.
===================================
1. 측정의 타당도
1) 타당도 : 측정하려는 것을 어느 정도 충실히 측정하고 있는지에 대한 정도
- 측정의 타당도는 측정도구가 우리가 측정하려고 하는 구성체 또는 개념을 어느 정도 잘 측정하고 있는가를 반영한다.
= 측정도구가 측정하고자 하는 개념을 측정하고 있는가, 그리고 그 개념이 정확히 측정되었는가
2) 타당도의 종류 : 내용타당도, 예측타당도, 동시타당도, 구성타당도 등
(1) 내용타당도(Content validity) = 표면타당도(Face validity)
: 척도가 일반화하려는 개념을 얼마나 잘 반영해 주고 있는가? 척도가 측정하려고 하는 개념을 광범위하게 다루고 있는가?
- 내용타당도는 척도의 항목을 논리적이고 주관적으로 분석하여 그 타당도를 결정하는 것이기 때문에 표면타당도라고도 한다.
- 내용타당도는 측정하고자 하는 특성을 구성하고 있는 이론에 근거를 두고 있다.
(2) 예측타당도(Predictive validity)
: 한 검사가 어떤 미래의 준거상황을 예측하는 것으로 gold standard라고도 한다.
- 예측타당도를 측정하기 위해서는 측정도구에 의한 측정결과와 외적 준거(external criterion)의 측정결과가 필요하고 이 두 결과의 상관계수를 측정함으로써 타당도를 산출하며 그 계수를 타당도계수라 한다.
(3) 동시타당도 또는 공인타당도(Concurrent validity)
: 측정도구의 측정결과가 대상의 현재상태를 올바르게 구분하는가?
- 동시타당도는 타당도가 입증된 도구와 타당도가 입증되어야 할 도구를 같은 시기에 적용하여 관련성을 보는 것이다.
- 이 방법은 새로운 검사가 기존 검사에 비해 효과적이고, 사용하기에 쉽고, 실질적으로 도움이 되는지를 알아보는데 유용하다.
* 기준관련 타당도(criterion-related validity) : 사용하고 있는 측정도구의 측정값과 기준이 되는 측정도구의 측정값과의 상관관계
① 동시타당도(concurrent validity) : 기준이 되는 검사와 새로운 검사와의 관련 정도를 알아보기 위해 비교적 같은 시간대에 적용하여 상관성을 비교하는 측정 타당도의 일종
② 예측타당도(predictive validity) : 한 검사의 미래의 성과를 예측 정도를 알아보기 위해 시점차이를 두고 측정된 검사도구 간의 상관성을 알아보는 측정 타당도의 일종
(4) 구성타당도(Construct validity)
: 직접 잴 수가 없는 추상개념을 구성개념이라 하며, 이런 것들은 어떤 이론을 설명하기 위하여 구성된 추상적인 개념이다.
ex. 불안, 창의성, 의존성, 권한, 자아개념, 태도, 지능, 직무만족, 성취동기, 추리능력, 공간지각능력, 독해력, 사회성, 인내심, 통증, 고유수용성 감각 기능, 근력, 기능수준 등 키나 몸무게
- 구성타당도란 어떤 측정방법이 어느 정도 구성개념을 설명할 수 있는가로 표현된다.
- 집단비교법 : 구성타당도 측정방법 중 흔히 사용되는 방법으로, 측정하고자 하는 개념상에서 이미 알고 있는 특성 때문에 차이를 보일만한 집단에게 이 도구를 시행하는 것
- 다속성 다방법 행렬방법(multitrait multimethod matrix method)
- 요인분석방법
< 측정도구가 재대로 사용되려면 이 도구를 언제 사용해도 같은 결과를 얻을 수 잇는지에 대한 안정성(stability)과, 문항들이 모두 같은 내용을 측정하는지의 내적 일치도 문제가 검토되는 신뢰도 검사를 시행하여 측정도구상의 문제를 제거하려고 노력해야 한다 >
출처: 이충휘, 「물리치료사와 작업치료사를 위한 연구방법론」, 제6판, 계축문화사