연구가 타당하려면 반드시 연구자가 다루려 했던 내용(측정, 관찰)이 다루어졌는지에 대한 검토가 필요하다.
1. 내적 타당도(Internal validity)
: 실험연구에서 처치(독립변수)가 실제로 종속변수에 변화를 초래했는가하는 질문에 관한 것.
독립변수 외에 다른 외재(생)변수들이 내적 타당도를 위협할 수 있는데, 이것들은 인과관계 추론을 방해하기도 한다.
순수한 실험 설계는 내적 타당도가 매우 높다. 무작위화를 하였고 대조군을 갖고 있기 때문이다.
* 내적 타당도를 위협하는 것
1) 역사(History), 사건(Events)
- 역사는 연구기간 동안 사건이 생긴 것을 말한다. 사전조사 후 얼마 기간이 경과한 후 사후조사를 하려 하는데 그 사이에 연구에서 살펴보려고 하는 독립변수 이외의 다른 변수가 독립변수와 함께 종속변수에 영향을 미쳐서 마치 종속변수의 변화가 독립변수에 의한 것인 것처럼 착각하게 하는 경우를 말한다.
- 역사는 독립변수 적용 후에 혹은 사전검사와 사후검사 사이에 발생하는 실험적인 처치가 아닌 특별한 상황이 개입된 효과를 말한다.
2) 성숙(Maturation)
- 사건에 관계없이 시간의 경과 그 자체로 생기는 피험자 내부의 변화를 말한다.
- 성장발달, 노화, 상처치유, 수술회복, 지적 성장, 나이, 피로 등
- 대조군이 없다면 치료 때문에 좋아졌는지, 저절로 나이가 들어 좋아졌는지, 혹은 상호작용 때문인지 가려낼 수가 없다.
- 성숙은 대부분의 임상적인 연구에서 특히 처음 측정과 나중 측정의 간격이 긴 연구에서 많이 생긴다.
3) 검사(Testing)
- 처음 검사받은 흔적이 두 번째 검사에 미치는 영향을 말한다.
(ex.피험자들이 처음에 검사를 받을 때, 두 번째 검사를 예상한다)
- 데이터 수집의 단순한 활동이 종속변수의 반응을 변화시키는 것
- 측정도구의 친숙성 때문에 발생하므로 수행능력이 증가되거나 기술이 숙련되는 것을 말한다.
4) 측정도구상의 문제(Instrumentation)
- 측정도구가 정확하게 영점조정(calibration)이나 보정(adjustment)되어 있지 않을 경우.
- 측정도구의 민감도(sensitivity)도 측정점수에 영향을 줄 수 있다.
- 처음 측정도구(또는 측정자)와 나중에 사용하는 측정도구(또는 측정자)가 다를경우.
5) 통계적 회귀(Statistical regression)
: 사전검사 점수의 극단값들이 사후검사를 할 때에는 평균값을 향해서 회귀하려는 경향이 있다. 이러한 효과는 처치와 관련없이 일어난다. 극단적으로 낮은 점수는 증가되는 경향을 나타내고 극단적으로 높은 점수는 감소하는 경향이 나타나서 평균 근처에 점수들이 동일하게 머무르는 경향이 있다. 이것을 통계적 회귀라 한다. 통계적 회귀는 집단이 선정될 때 극단 점수에 기초하여 선택되었을 때 가장 흔하게 일어난다.
통계적인 극단적 수치는 회귀선에 영향을 미친다. 즉, 피험자를 선정할 때 아주 극단적인 점수를 토대로 하여 뽑을 경우 실험처리 효과가 실제로 전혀 없더라도 다음 검사에서 저절로 평균에 좀 더 가까운 점수를 보이는 경향이 있다. 따라서 이와 같은 오차를 제거하는 방법을 모색하는 것이 필요하며, 그런 방법이 없을 때는 결과해석에서 이러한 문제를 거론해야 한다.
6) 선정 오차(Selection bias)
: 대조군을 설정하는 경우 이를 잘못 선정하여(동질성 결여) 실험군과 차이가 나는 경우를 말한다. 이상적으로는 모집단에서 대상자를 무작위로 추출해야 하고 이들을 각 집단으로 무작위 배정해야 한다.
그러나 이는 현실적으로 불가능하기 때문에 실험연구에서 흔히 편의추출에 의해 대상자를 정하고 그 후에 대조군과 실험군으로 무작위 배정한다. 하지만 철저히 무작위 배정원칙을 지키지 못할 때 대상자 선택상의 편중이 생길 수 있다.
이런 경우를 방지하기 위해 대상자에 대하여 무작위 할당(random assignment)이나 짝짓기(matching)를 한다.
7) 대상자 탈락(Mortality, attrition)
: 연구가 종료되기 전에 실험집단 또는 통제집단의 피험자가 어떤 사정에 의하여 탈락하는 현상을 말한다.
8) 선정-성숙의 상호작용(Selection maturation interation)
- 대상자들이 무작위로 집단에 배치되지 않거나 그렇게 배치하였어도 무작위화 과정이 실패하였거나 성숙, 역사, 측정도구의 위험성이 있을 때 집단들이 다르게 영향을 받게 된다.
- 선정-성숙 효과는 실험군이 다른 속도로 성숙적인 변화를 경험할 때 발생한다.
(ex. 실험집단은 남학생, 통제집단은 여학생을 선정하는 경우)
출처: 이충휘, 「물리치료사와 작업치료사를 위한 연구방법론」, 제6판, 계축문화사