연구 설계를 위해 변수를 확정하면 척도 방법을 선택해야 한다. 연구 목적을 달성하기 위해서 변수들을 정확하고 일관성 있게 측정하는 도구를 선택해야 하는데 측정도구의 정확성을 평가하는 것이 매우 중요하다. 타당성과 신뢰성을 바탕으로 측정척도를 평가하는 방법, 그리고 신뢰성을 측정하는 방법에 대해서 알아보겠다.
측정척도의 평가 방법
연구를 수행하기 위해서 측정된 자료는 측정 오류를 가질 수 있다. 연구자가 측정하기를 원하는 속성이 아니라 다른 속성을 측정할 경우에 발생할 수 있다. 응답자의 고유한 성향으로 인해서 발생할 수도 있다. 응답자가 처한 상황에 따라서도 응답이 달라질 수 있다. 설문이 모호하거나 이해하기 어려운 경우에도 측정 오류가 발생할 수 있다. 측정 방법상의 문제로 개인 면접, 전화면접, 우편 설문 등의 방식에 따라 결과 차이가 발생할 수 있다. 응답자가 표기를 잘못하였거나 분석 과정에서 오류도 발생할 수 있다. 측정 오류는 체계적 오류와 비체계적 오류가 있다. 체계적 오류는 측정도구가 잘못 선정되었기 때문에 측정 대상 모두에게 동일하게 측정 오류가 발생하는 것이다. 비체계적 오류는 측정 도구 상의 오류는 없지만 응답자의 피로나 이해 불충분 등으로 인해서 무작위로 발생하는 오류이다. 체계적 오류는 타당성, 비체계적 오류는 신뢰성과 연관된 개념이다. 타당성은 측정하고자 하는 개념이나 속성을 얼마만큼 정확하게 측정하였는지에 대한 부분이다. 개념이나 속성을 측정하기 위해서 개발된 측정 도구가 해당 속성을 정확하게 반영하고 있는지에 대한 것이다. 측정도구가 무엇을 측정하고 있는지에 대한 것이고 평가하려고 하는 목표를 얼마나 정확하게 측정하였는지에 대해서이다. 타당성의 종류는 내요 타당성, 기준 타당성, 구성 개념 타당성 세 가지가 존재한다. 내용 타당성은 측정도구를 구성하고 있는 항목들을 측정하고자 하는 내용을 얼마나 충실하게 측정하고 있는지 확인하는 것이다. 기준 타당성은 결과 요인에 대한 예측력을 나타낸다. 원인적 요인과 결과적인 요인 사이의 연관성 정도를 나타낸다. 구성 개념 타당성은 측정도구가 한 요인에 속한 여러 문항들이 동일한 구성 개념을 적절하게 측정하였는지 여부를 나타낸다. 두 가지 측면에서 구성 타당성을 평가할 수 있는데 하나는 이론적인 것이며 다른 하나는 통계적인 것이다. 타당성의 이론적인 측면을 평가하기 위해서는 개념 자체에 대한 정상성이 있어야 한다. 측정대상이 되는 구성 개념들 사이에 이론적인 관계가 성립되는지를 보고 타당성을 평가할 수 있다. 구성 개념 타당성을 통계적으로 평가하는 방법은 집중 타당성 분석과 판별 타당성 분석이 시용될 수 있다. 집중 타당성은 동일한 개념에 대해서 다른 방법으로 측정한 값 사이에는 상관관계가 높아야 하는 것이다. 관련 타당성은 상이한 구성 개념 사이의 상관관계가 유의하면서 낮아야 한다는 점을 이용해서 평가한다.
신뢰성을 측정하는 방법
신뢰성을 측정하는 방법에는 재 검사법, 반분 법, 문항 분석법, 알파 계수법이 있다. 재 검사법은 동일한 측정도구를 사용해서 동일한 상황에서 동일한 대상에게 일정기간이 지난 다음 반복 측정을 했을 때 1차 측정과 2차 측정에 대한 동일성을 비교하고 평가하는 방식이다. 연구 특성에 따라 다르지만 측정 기간의 간격은 2주 정도로 잡아서 진행한다. 측정 기간 사이가 길거나 측정과정이 복잡한 경우 2차 측정을 진행할 때 응답이 부실하거나 불성실하여 오류가 발생할 수 있는 가능성이 높아진다. 외생변수의 개입 가능성도 함께 높아진다. 재 검사법은 측정도구의 안정성을 검정한다. 장기간 변화하지 않는 태도 또는 하나의 개념을 하나의 항목으로 측정할 때 사용한다. 두 번의 걸친 조사에서 항목 간의 상관관계를 확인하고 상관 분석 결과 계수가 높으면 측정도구의 신뢰성이 높은 것이다. 반분 법은 전체 측정 문항을 반으로 나누어서 독립적인 두 집단을 만든 다음 측정값에 대한 상관관계를 분석해서 신뢰도를 측정하는 방법이다. 조사 항목의 절반을 가지고 조사 결과를 얻은 다음 다른 절반을 동일한 대상에 적용해서 얻은 결과와 비교하는 방법이다. 문항 분석법은 구성 개념의 총합점수와 각 문항별 상관 정도가 얼마나 높은 지를 평가하는 방법이다. 총합점수와 문항 사이의 상관관계가 낮으면 연구의 신뢰성을 저해하는 것이므로 해당 문항은 제외해야 한다. 알파 계수법은 동일한 측정을 위해서 항목 간의 평균적인 관계에 근거하여 내적인 일관성을 구하는 방법이다. 알파 계수법은 반분 법과 문항 분석법을 결합한 방법이다. 구성 개념의 문항들에 대해서 모두 반분 법으로 신뢰도를 구한 다음 편균 치를 구한다. 크론바하 알파 계수를 구하는 공식도 있다. 일반적으로 0.7 이상인 경우 측정 문항의 신뢰성이 보장된다. 타당성과 신뢰성을 검증하기 위해서는 요인 분석과 신뢰성 분석의 기능을 가지고 있는 SPSS를 활용할 수 있다.