지난주에 발견한 현상, 이제 어떻게 점수로 해석할까요?
1주차에는 ‘무엇을 측정할 것인가’를 고민했습니다. 2주차는 그 대답을 갑자기 수식으로 바꾸는 시간이 아닙니다. 먼저 검사점수로 심리적 특성을 어디까지 추론할 수 있는가라는 질문부터 이어갑니다.
“코칭을 받고 좋아졌다”를 어떻게 확인할까?
1주차 연구노트 ↗에서 직접 선택했던 구성개념 후보 하나를 떠올려 보세요. 이 사례에서는 코칭 관련 자기효능감을 가상의 검사점수로 표현합니다.
+3점 상승은 관찰된 사실입니다. 하지만 이 차이가 측정오차인지, 실제 변화인지, 코칭 때문인지 알려면 무엇이 더 필요할까요?
1주차에서 적었던 질문이나 구성개념 후보를 직접 옮겨 적으세요. 이전 주차 내용이 자동 불러와지는 것은 아닙니다. 실제 고객을 식별할 수 있는 내용은 입력하지 않습니다. 이 기록은 현재 브라우저에만 임시 저장됩니다.
처음 배우는 학생용 · 약어의 영문 이름과 쉬운 뜻 확인하기
CTT = Classical Test Theory · 고전검사이론: 관찰점수를 진점수와 오차로 이해하는 이론입니다.
X, T, E는 공식의 기호입니다. X는 observed score(관찰점수)의 통상 기호이며 observed의 첫 글자를 딴 약어는 아닙니다. T는 true score(진점수), E는 error(오차)를 뜻합니다.
SD = Standard Deviation · 표준편차: 사람들 점수가 얼마나 퍼져 있는지 요약합니다.
SEM = Standard Error of Measurement · 표준측정오차: 검사점수에 따르는 오차의 크기를 가정된 모형 아래 추정합니다. 이 수업의 SEM을 평균의 표준오차(Standard Error of the Mean)나 구조방정식모형(Structural Equation Modeling)과 혼동하지 마세요.
RCI = Reliable Change Index · 신뢰로운 변화지수: 점수차를 측정오차에 비추어 평가하려는 지표이며 이 주차에서는 선택 심화, 13주차에 본격 학습합니다.
rxx는 신뢰도 계수 기호입니다. Likert(리커트)는 응답척도로 알려진 연구자의 성이며 약자가 아닙니다.
처음에는 영어 이름을 보고 의미를 설명하고, 다음에는 약자나 기호만 보고도 뜻을 설명해 보세요. 원전 링크는 아래 각 학습단계의 ‘핵심 근거’에서 확인할 수 있습니다.
이번 주 학습 순서 · 쉬운 경험에서 엄밀한 해석으로
180분 정규 수업을 위한 활동 흐름입니다. 개별 활동의 소요 시간은 고정된 연구 결과가 아니라 교수설계상의 권장 배분입니다. 박사과정 핵심 역량은 복잡한 공식을 암기하는 것이 아니라 점수를 근거 있게 해석하는 것입니다.
학술 심화 · 대표 측정학 원전과 검사표준 확인하기
관찰점수, 진점수, 오차를 다루는 고전검사이론을 체계화한 핵심 고전입니다.
ETS 서지 확인 ↗검사이론, 측정모형과 응용 분석을 연결하는 후속 이론서입니다.
출판사 소개 ↗신뢰도는 점수 해석을 위한 증거 중 하나이며, 사용목적에 맞는 타당도 근거가 별도로 필요합니다.
2014 검사표준 · 무료 원문 받기 ↗2주차 교수 핵심강의
고전검사이론·측정수준·측정오차를 영상으로 학습하고, 아래 실습에서 직접 적용합니다.
관찰점수와 진점수를 구별하기
고전검사이론(Classical Test Theory, CTT)에서 진점수(T)는 측정하려는 특성이 변하지 않고 반복 측정이 서로 영향을 주지 않는 적절한 검사 조건(동등한 검사 시행)을 가정할 때 관찰점수의 기대값이라는 측정학적 개념입니다. 개인이 지닌 심리적 특성의 절대적인 ‘참값’과 동일한 뜻이 아니며, 하나의 관찰점수에서 진점수와 오차를 정확히 분리할 수도 없습니다.
원문 대조 완료 · 진점수 · AERA·APA·NCME (2014), p.34 · 진점수 정의 및 반복검사 가정 ↗ · 고전 원전 Lord & Novick (1968) 서지 ↗: 해당 도서 원문 쪽수 대조 미완료
기호부터 읽기. X = observed score(관찰점수), T = true score(진점수), E = error(오차). X는 observed의 머리글자를 딴 약자가 아니라 검사이론의 통상적인 점수 기호입니다.
박사과정 심화 · CTT의 통계적 가정 확인하기
측정오차와 신뢰도 개념이 명료하며 전체 점수와 검사 사용의 기본 판단에 유용합니다.
문항의 난이도/특성이 표본과 독립이라고 보장하지 않으며, 집단에서 추정한 신뢰도가 모든 개인에게 같다고 볼 수 없습니다.
교육용 반복측정 시뮬레이션
아래의 T와 E는 교수가 만든 가상 세계에서만 알고 있는 값입니다. 실제 검사에서는 진점수를 직접 관찰할 수 없습니다.
| 반복 | 가정한 T | 오차 E | 관찰점수 X |
|---|
측정수준을 구분해야 계산도 정당해집니다
척도수준은 단순한 교양지식이 아닙니다. 순서와 간격의 의미가 무엇인지 점검해야 평균, 표준편차, 효과크기 등의 사용을 논증할 수 있습니다.
원문 대조 완료 · 측정수준 · Stevens (1946), pp.677–680 · 명목·서열·등간·비율, 특히 p.678의 표 1 ↗ — 논문 전문 대조 완료, 저작권에 따라 재배포하지 않음 | 현대적 분석상 주의 · Norman (2010) · 초록 ↗ — 모수분석의 강건성 논의이지 모든 서열점수가 자동 등간척도라는 뜻은 아님
유형 구분 · 예: 코칭 주제 범주
순서만 분명 · 예: 단일 5점 동의응답
간격 해석 가능 · 예: 이론적 척도 점수 모델
절대 영점 · 예: 과제 완료 횟수
판단 문제 · ‘아주 동의함’과 ‘동의함’의 간격이 ‘동의함’과 ‘보통’의 간격과 같다는 것이 자료만으로 확정되는가?
먼저 예제를 읽고, 그다음 SEM을 계산합니다
신뢰도는 특정 검사점수의 대상집단과 측정조건에 관한 속성입니다. 신뢰도가 크다고 점수해석 자체가 타당하다는 뜻은 아닙니다.
원문 대조 완료 · 신뢰도·SEM · AERA·APA·NCME (2014), p.34 · 진점수·SEM의 의미 ↗ p.39 · 오차 폭·조건부 SEM ↗ Standards 2.13–2.14, pp.45–46 ↗ — SEM=4.8은 교육용 CTT 분산모형에서 계산한 값이며 원전의 실측 결과가 아님
계산 전에 약어 풀기. SD = Standard Deviation(표준편차, 점수의 퍼짐), SEM = Standard Error of Measurement(표준측정오차, 점수의 오차 추정), rxx = 해당 점수의 신뢰도 계수 기호. SEM은 '평균의 표준오차' 또는 '구조방정식모형'이라는 다른 통계 용례와 구별합니다.
SD를 고정하고 신뢰도를 .60, .80, .95로 바꿔보세요. 오차폭은 어떻게 변하는가?
원 개발표본의 신뢰도 .90을 다른 연령·직업집단의 진단 정확도로 그대로 옮길 수 있을까요?
3점 올랐다는 사실과 코칭효과는 다릅니다
이번 주의 필수 목표는 점수 상승·측정오차·인과적 효과를 구별하는 것입니다. 공식 수식과 RCI는 박사과정의 선택 심화로 남기고, 변화와 성과평가의 본격적인 학습은 13주차에서 진행합니다.
원문 검증 · 점수 차이의 정밀도 · AERA·APA·NCME (2014), Standard 2.4, p.43 ↗ — 두 점수 차이에 대한 오차·신뢰도 증거 요구 | 원문 대조 완료 · RCI 계산 · Jacobson & Truax (1991), p.14 · RCI/SEdiff/재검사 신뢰도 계산 ↗ — 임상·심리치료 연구 원문이며 코칭에서의 사용 타당화는 별도 과제. 저작권 보호 원문이므로 재배포하지 않음
선택 심화 · RCI(Reliable Change Index, 신뢰로운 변화지수) 계산기 열기 (13주차 예고)
코칭심리 연구에 연결하기
코칭 결과연구는 우리가 무엇을 측정하고, 어떤 변화를 주장할 수 있는지를 구체화하는 사례입니다. 대표 학문적 토대는 검사이론이고, 코칭 실증연구는 적용 맥락의 근거입니다.
응용 설계의 판단
내 연구에 적용하고, 근거 있는 판단을 남깁니다
학생이 답을 직접 작성해야 하는 독립 연구훈련입니다. 계산 정답을 베껴 쓰는 과제가 아니라 가정과 해석 한계를 밝혀야 합니다.
구성개념과 4주차 문항 작성으로 이어질 6개 가상 문항의 응답수준, 신뢰도 목표와 검사점수 사용목적을 정의합니다.
도구 사용목적·대상집단·규준·신뢰도·점수해석 범위를 점검하고 개인 코칭 피드백의 금지 추론을 명시합니다.