[사조사]사회조사분석사 2급 필답형 - chapter 5. 측정과 척도

1. 측정의 기능

측정이란 추상적인 개념을 경험화하는 작업으로 경험적인 특징에 대해 규칙에 의거하여 수치를 부여하는 과정으로, 실험, 관측, 조사 등을 통해 값을 얻는 과정이다. 측정의 기능은 다음과 같다

1. 조화 또는 일치 기능 : 개념적, 추상적인 세계와 경험적인 세계를 연결시켜주는 수단이다

2. 객관화와 표준화 기능 : 개념에 대한 측정이 없다면 경험적인 검증이 어려워, 이론을 일반화시키는 것도 어렵다.

3. 계량화 기능 : 측정은 사건이나 현상을 세분화시키고 통계적 분석에 활용할 수 있는 정보를 제공한다

4. 반복과 의사소통 기능 : 연구결과를 다른 사람들이 반복하고 그 결과를 반증할 수 있도록 하며, 연구결과를 타인에게 정확히 전달하는 의사소통의 기술을 가진다.

 

2. 척도를 다수 문항으로 구성하는 이유

• 하나의 척도로 구성 시 발생할 수 있는 오류 감소
• 측정의 타당도 및 신뢰도를 향상
• 하나의 척도로 측정하기 어려운 개념을 하위 세부적인 요인으로 구성된 다수의 척도를 통해 측정 가능
• 자료의 복잡성을 감소

 

3. 리커트 척도의 구성절차 4단계

리커트 척도란 다수의 문항으로 응답자의 태도를 측정하고, 측정치를 합산하여 평가 당사자의 태도 점수를 얻어내는 척도이다. 리커트 척도의 구성 절차 4단계는 다음과 같다.

연구 문제에 관한 긍정적 문항 / 부정적 문항을 선정한다

• 만족/불만족 정도를 나타내는 응답 범주를 작성한다

응답 범주를 작성 후 실제 조사를 한다

• 가장 우호적은 높은 점수, 비우호적은 낮은 점수를 부여한다

조사 결과에 대한 신뢰도를 분석한다.

각 안의 총점을 산출하면 응답자의 태도 측정치가 된다.

 

4. 서스톤 척도

서스톤 척도란 평가자들의 선호 정도를 반영하여 11개 범주로 분류 후 범주 간에는 등간격으로 평가하는 척도를 말한다.

서스톤 척도 구성을 위한 절차

• 연구자가 연구하고자 하는 태도와 관련된 100~300개의 다양한 질문 문항을 수집한다
• 다수의 평가자에게 다양한 질문 문항에 대한 선호 정도를 측정하여, 선호 수준에 따라 보통 11개 범주로 분류한다.
• 각 점수를 대표할 수 있는 문장으로 척도를 구성하되, 평가자들 간 이견이 큰 문항을 제외하고 순서대로 배열한다

장점

• 응답 범주간의 등간격으로 판단 가능하다
• 평가자들을 사전 평가를 통해 현실성을 반영할 수 있다.

단점

• 실제로 문항의 등간격성 확보가 어렵다.
• 척도 구성에 과다한 비용 및 시간이 소요된다.
• 민감한 문항은 제외되므로, 다양한 응답을 수집하는데 한계가 존재한다
• 사전 평가자들의 편견을 통제하기 어렵다.

 

5. 의미분화 척도 법의 특징을 사례로 설명하시오

의미 분화 척도 법이란 태도의 변화를 좀 더 정확하게 파악하는 척도이다. 일직선으로 도표화된 척도 양 극단에 서로 상반되는 형용사를 배열하여 양 극단 사이에 해당하는 속성을 평가하는 척도이다

의미 분화 척도 법의 특징

• 문항을 읽지 않고 긍정 또는 부정적으로만 답하려는 응답자들을 통제할 수 있음
• 제품들 간의 차이점 혹은 거리 그리고 유사성 등을 알아보는데 유용
• 군집의 거리나 유사성을 파악할 목적으로 사용됨

 

6. 소시오메트리를 성공적으로 측정하기 위한 방법에 대해 서술하시오

소시오 메트리는 집단 내 구성원 간의 거리 척도이며, 성공적으로 측정하기 위해 아래와 같은 방법에 유의해야 한다.

• 조사 대상자들에 대한 명확한 범위 규정
• 조사 대상자들이 이해할 수 있는 질문 문항으로 구성
• 집단 내 구성원이므로 집단 규모가 작아야 함
• 집단 내 구성원의 평가임으로, 집단 구성원 간 관계 형성에 필요한 기간, 계기 필요
• 조사 대상자는 일정한 기준에 의거 선택, 비선택
• 조사 대상자의 선택, 비선택 시 발생할 수 있는 문제가 발생하지 않도록 철저한 비밀 보장
• 조사 문항이 편견이나 쏠림 현상이 나타나지 않도록 객관성, 균형성 유지

 

7. 척도를 구성하는 통계적 기법

1. 개별문항과 척도 간의 상관관계 분석

• 다수의 조사 문항을 종합한 하나의 종합 척도 생성
• 생성된 종합 척도와 개별 문항 간의 상관관계 분석
• 상관관계가 낮은 문항 제거 후 높은 상관 문항만 척도로 구성

2. 기준변수와의 상관관계 분석

• 이론적으로 타당한 기준 변수 설정
• 개별 문항과 기준변수와의 상관 분석
• 높은 상관관계 변수만 선택

3. 요인분석을 통한 척도의 구성

• 요인 분석을 통해 수렴 타당도, 판별 타당도 확보
• 타당도가 확보되지 않은 개별 문항은 제외
• 개별 문항 간의 상관관계 고려하지 않고, 요인 분석 결과로 척도 구성

4. 회귀분석을 이용한 척도의 구성

• 다수의 조사 문항을 종합한 하나의 종합 척도 생성 후, 종속변수로 설정
• 개별 문항을 독립변수로 설정
• 종속변수와 독립변수 간의 단계적 회귀분석 실시
• 유의한 독립변수만 선택

 

8. 지수, 척도, 지표, 측정의 의미 및 사용 이유

1. 지수

개념 : 수집된 지표를 활용하여 일정 기준연도를 100으로 설정 후 상대적인 시간적 흐름의 변화를 보는 방법

사용 이유 : 서로 다른 단위의 자료를 지표를 통해, 기준연도 대비 변화를 객관적으로 비교 가능하다.

2. 척도

개념 : 측정하고자하는 대상에 부여하는 숫자들의 체계로 척도의 형태는 측정의 수준이 된다.

사용 이유

자료의 복잡성을 감소시켜 줄 수 있다.(단순화)

복수 지표로 구성된 척도는 단일 지표를 사용할 때보다 측적오류가 적고, 신뢰도가 높다.

하나의 지표로 측정하기 힘든 복합적인 개념들을 측정할 수 있다

3. 지표

개념 : 추상적인 개념을 경험적으로 검증 가능한 조작화를 통한 측정 자료

사용 이유 : 종합적이고 균형적인 판단을 가능하게 하여 주는 규범 지향적인 관심의 성격을 가진 통계, 현재 위치와 방향성을 제시한다

4. 측정

개념 : 경험적인 특징에 대해 규칙에 의거하여 수치를 부여하는 과정이다

사용 이유 : 추상적인 개념을 구체적, 계량적인 값으로 얻기 위해 개념적 정의를 통해 정제되고, 조작적 정의를 통해 측정된다.

 

9. 내용 타당도, 기준 타당도, 개념 타당도 ***

1. 내용 타당도

측정지표가 측정하고자 하는 내용을 잘 대표하고 있는가를 전문가의 주관적인 판단에 의존한다.

• 상관관계 등 통계 분석 불가능
• 오차가 발생할 가능성 내포

2. 기준 타당도

이미 기존에 타당도가 알려진 측정도구를 기준으로 설정하고, 비교하고자 하는 측정도구를 통한 결과와 관련성의 정도를 통하여 타당성을 파악하는 것으로, 현재 시점적이면 동시적 타당도, 미래 시점적이면 예측적 타당도라고 한다.

알려진 기준 변수와 측정도구와의 상관분석 실시하여, 상관계수 값이 클수록 기준 타당도가 높다.

기준 타당도의 한계점

• 기존에 타당도를 검증받은 기준이 없을 경우, 타당도를 추정할 수 없다.
• 기준으로 설정한 측정도구가 정말로 타당도를 확보했는지 확인하기 어렵다
• 기준으로 설정한 타당도가 연구자의 측정 대상에 적용할 수 있는지 정의하게 어렵다.
• 우연하게 상관관계가 높을 수 있다.

3. 개념 타당도 ***

측정도구가 실제로 제대로 측정되었는가의 정도를 파악하는 방법으로 요인 분석, 다속성 다층적 행렬 분석 사용한다.

    - 수렴(집중) 타당도

수렴 타당도란 같은 개념을 측정하는 경우에는 상이한 측정방법을 사용하더라도 그 측정값들 간에 높은 상관관계가 존재해야 한다는 것이다. 예를 들어 영어능력 측정을 위해 TOEIC, TEPS 등을 동시에 시험을 치른 뒤 영어 능력이 높은 사람이 두 시험의 결과 유사한 수준이라면, 두 시험제도는 영어능력을 측정하는데 수렴 타당도가 높다고 볼 수 있다.

    - 판별(차별) 타당도

판별 타당도란 상이한 개념을 측정하는 경우에는 동일한 측정방법을 사용하더라도 그 측정값 간에는 차별성이 나타나야 한다는 것이다. 예를 들어 영어능력만 높은 사람 A와 수학능력만 높은 사람 B가 있다고 가정했을 때, TEPS라는 영어 진단 도구 측정 결과 A만 점수가 높았다면, TEPS는 영어능력과 수학능력 진단에 대해 판별 타당도가 높다고 볼 수 있다.

    - 이해 타당도

이해 타당도란 구성된 측정 도구 간의 관계가 연구 조사자의 예상대로 관계가 형성된 정도를 의미한다. 예를 들어 연구자는 연봉 만족도, 상사 만족도라는 측정 도구가 회사 만족도를 설명할 수 있고, 연봉, 상사 만족도 간에는 높은 관계가 있을 것으로 예상하였는데, 실제 그러한 결과가 나오느냐가 문제가 될 수 있음. 이를 요인 분석을 통해 동일한 요인으로 그룹화할 수 있는지 판단 가능

 

10. 동시적 타당도

동시적 타당도란 기존에 타당성을 입증받고 있는 검사도구와 실제 측정한 점수와의 관계에 의하여 검정하는 타당도이다.

기존에 타당성을 보장받고 있는 검사와의 유사성 혹은 연관성에 의하여 타당성을 검정하는 방법이다.

한계점

• 타당성을 입증받은 기준이 없을 경우, 타당도를 추정할 수 없다.
• 기준으로 사용하는 속성과 새로운 측정도구 간 비교 가능한지 정의하기 어렵다
• 우연하게 상관관계가 높을 수 있다.

 

11. 신뢰도의 의미 및 측정 방법 ***

신뢰도란 측정하고자 하는 현상을 얼마나 일관성 있게 측정했는가 하는 정도로, 동일한 개념에 대해 측정을 반복했을 때 동일한 측정값을 얻는 가능성을 말한다.

1. 검사-재검 사법 *** 

동일한 대상, 동일한 측정도구를 일정 시간을 두고 2회 이상 시점을 달리하여 상관관계를 비교하는 방법으로, 적은 설문 문항으로 조사 가능하다.

장점

• 통계적인 상관 분석법을 활용하여 검정할 수 있다
• 다른 신뢰도 분석에 비해 동일한 측정도구를 사용하여, 동일한 대상에게 조사하므로, 측정도구/대상의 차이로 인한 오류 발생 가능성이 낮아, 안정성이 높다

단점

• 동일한 측정도구로 인해 2번째 측정에 영향을 받을 수 있다.
• 2~4주의 조사기간이 오래 소요된다.
• 조사 대상자의 상실, 성숙 요인, 역사 요인, 검사 요인에 주의해야 한다.

 

2. 복수 양식법

동일한 개념에 대해 다수의 상이한 측정도구를 개발하여, 측정치 간 일치 여부를 검증하는 방법이다. 척도 간의 동등성 확보가 어렵고, 신뢰성이 낮은 경우 실제 신뢰도의 문제인지, 동등성의 문제인지 파악하기 어렵다. 또한, 두 도구가 유사할 경우, 주 시험 효과가 우려된다는 단점이 있다.

 

3. 반분 법

측정도구를 반으로 나누어 각각 독립된 척도로 보며, 조사 실시 후 측정 도구 간의 상관관계, 스피어만-브라운 분석을 실시한다.

측정도구 간의 동질성 확보가 어렵고, 조사 문항이 많아야 하며, 항목의 배분에 따라, 신뢰도가 변화할 수 있다는 문제점이 있다.

 

4. 내적 일관성 분석법

가능한 모든 반분 신뢰도를 계산하여 그 평균값을 신뢰도로 추정하는 방법으로, 통계적으로 쉬게 산출되어 현실적으로 가장 많이 사용되는 방법이다

보편적으로 크론바흐 알파 계수를 이용하며, 0.6 이상이면 신뢰도가 높다고 판단한다.

 

12. 신뢰도 향상 방안 ***

1. 신뢰도의 개념

신뢰도란 측정 대상을 얼마나 일관성 있게 측정했는가? 동일한 개념에 대해 측정을 반복했을 때, 그 측정값이 동일한가?

2. 신뢰도의 제고 방안

• 이미 신뢰도가 검증된 설문 문항을 사용한다.
• 사전 검사를 실시하여, 응답자들이 모르거나 관심 없는 항목은 제외한다.
• 의사소통법의 경우, 조사 대상자의 자발적인 참여를 독려한다.
• 관찰법의 경우, 조사 대상자가 관찰을 받고 있는 사실을 모르게 한다.
• 조사 문항이 애매모호한 경우 측정 도구는 제외한다.
• 연구목적에 맞는 신뢰도를 향상할 수 있는 측정 항목수를 증가시킨다.
• 조사 문항에 연구자의 편견, 모호성은 제거한다.
• 측정도구의 일관성을 유지한다.
• 조사원의 철저한 교육으로 조사원에 따른 오차를 감소시킨다.
• 신뢰도 분석을 통해, 신뢰도에 악영향을 미치는 척도는 제외한다.
• 중요한 질문은 2회 이상 멀리 배치하여 응답자의 신뢰도를 확인한다.

3. 신뢰도의 측정 방법

* 12번 항목 참조