INSIGHT PLUSACADEMY · MEASUREMENT LAB
코칭심리측정 및 평가 / 박사과정 학습 실험실
W01 · 독립 학습보드
MEASUREMENT LAB · WEEK 01 / 15

보이는 현상에서
보이지 않는 개념으로.

무엇을 측정할지 결정하기 전에, 우리가 실제로 무엇을 관찰했는지부터 묻는다. 이곳은 답을 빨리 고르는 강의실이 아니라 근거를 따라 사고하는 연구 학습보드이다.

교수 핵심강의 · 영상 보기원문·표준 4종형성평가 4문항실제 연구노트예상 90–120분
WEEKLY LEARNING COMPLETION
0% 0 / 8개 활동
02단계 영상 시청 여부는 자동 검증하지 않으며, 기존 8개 학습활동을 기준으로 계산한다. 교수의 평가점수 또는 공식 출석·성적을 의미하지 않는다.
01 / ORIENTATION

관찰부터 시작하는 연구

이번 주의 질문은 특정 검사를 먼저 고르는 것이 아니라 코칭현상이 왜 측정문제로 발전해야 하는가이다.

오늘의 출발점
“코칭을 받고 많이 좋아졌습니다.”
— 좋아진 것은 무엇이며, 무엇을 근거로 말할 수 있을까?
관찰과 해석을 분리한다

누가·언제·어디서·무엇을 했는지 먼저 쓴다.

후보 개념을 열어 둔다

하나의 현상에 가능한 설명을 최소 세 개 제시한다.

근거와 미해결 쟁점을 남긴다

확정 대신 다음 주 검증 질문을 만든다.

1주차 성취기준 · 현상·측정·평가·구성개념·지표를 구별하고, 검증되지 않은 해석을 사실처럼 표현하지 않는다. 2주차에 고전검사이론과 측정오차를 본격적으로 다룬다.
02 / FACULTY LECTURE

교수 핵심강의

무엇을 측정할 것인가? · 측정문제와 구성개념 탐색

강의영상 연결됨

INSIGHT PLUS R2 강의 · 한국어 자막(CC) 선택 가능. 별도 재생 화면 ↗

03 / CONCEPT STUDIO

측정의 언어를 구별한다

심리측정의 첫걸음은 ‘같은 말처럼 들리는 개념’을 다른 작업 단계로 정확히 나누는 데 있다.

학문 기초
OBSERVATION현상회의에서 발언이 적다
→
INFERENCE구성개념 후보안전감·효능감·규범 등
→
OPERATION관찰지표자기보고·행동자료
→
INTERPRETATION해석·평가목적에 비추어 판단
개념1주차에서 이해할 핵심주의할 오해
현상관찰하거나 보고받은 상태·행동·경험관찰 사실만으로 원인을 확정하지 않는다
구성개념이론적 설명을 위해 설정한 심리적 속성 또는 과정구성개념은 점수 자체가 아니다
관찰지표구성개념을 추론하는 데 사용할 자료의 종류단일 지표가 전체 개념을 대표한다고 단정하지 않는다
측정규칙에 따라 특성에 관한 정보를 수집·수량화하는 과정수치가 곧 측정의 타당성을 보증하지 않는다
평가측정결과를 목적·맥락·기준과 결합하여 판단하는 과정점수 하나로 개인을 진단·낙인찍지 않는다
학문적 주의 · 이 표는 교육용 개념 구별이며 단일한 보편 정의를 제시하는 표준 문구가 아니다. 타당도는 점수 자체의 속성으로 단순화하기보다, 특정한 해석과 사용을 뒷받침하는 증거의 문제로 검토해야 한다.
04 / EVIDENCE DESK

학술원문과 연결된 핵심 읽기

자료를 나열하는 것이 아니라 각 출처가 이번 주의 어떤 주장과 연결되는지 확인한다. 영어 원문 핵심 내용을 한국어로 정리했다.

원문 링크 제공
SOURCE 01 · REQUIRED

Clark & Watson (2019) · 구성개념의 명료화

읽기 질문 · 척도를 개발하거나 선택하기 전에 대상 구성개념을 명료하게 정의해야 하는 이유는 무엇인가? 인접개념과의 차이를 확인하는 이유는 무엇인가?

원문 보기 · Psychological Assessment ↗

참고문헌 · Clark, L. A., & Watson, D. (2019). Constructing validity: New developments in creating objective measuring instruments. Psychological Assessment, 31(12), 1412–1427. DOI ↗

강의 주제 · 구성개념과 관찰지표 · 후보 개념의 경계

SOURCE 02 · REQUIRED

Boateng 등 (2018) · 척도개발의 세 단계

읽기 질문 · 도메인 규정과 구성개념 정의가 문항개발에 앞서는 이유는 무엇인가? 1주차의 후보 탐색은 전체 척도개발 과정 중 어디에 놓이는가?

원문 보기 · Frontiers in Public Health ↗

참고문헌 · Boateng, G. O., Neilands, T. B., Frongillo, E. A., Melgar-Quiñonez, H. R., & Young, S. L. (2018). Best practices for developing and validating scales for health, social, and behavioral research: A primer. Frontiers in Public Health, 6, 149. DOI ↗

강의 주제 · 관찰지표 · 도구 선정 이전의 측정문제

SOURCE 03 · EXTENSION

Flake & Fried (2020) · 불투명한 측정 결정의 위험

읽기 질문 · 연구자가 어떤 개념을 왜 측정했는지 설명하지 않으면 해석에 어떤 문제가 발생하는가? 측정의 투명성은 왜 중요한가?

학회 안내 및 논문 보기 · APS ↗

참고문헌 · Flake, J. K., & Fried, E. I. (2020). Measurement schmeasurement: Questionable measurement practices and how to avoid them. Advances in Methods and Practices in Psychological Science, 3(4), 456–465. DOI ↗

강의 주제 · 성급한 척도 선택 · 연구자의 자기점검

SOURCE 04 · REFERENCE STANDARD

AERA · APA · NCME (2014) · 교육 및 심리검사 표준

읽기 질문 · 측정 점수의 의미를 주장할 때, 어떤 해석과 사용을 위해 어떤 증거가 필요한가? 표준 문서는 개별 검사를 자동 승인하는 자료가 아니다.

공식 발행기관 · 무료 PDF 안내 ↗

참고문헌 · American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.

강의 주제 · 측정과 평가 · 검사점수의 해석과 사용. 위 발행기관 페이지에서 무료 원문 PDF로 이동할 수 있다.

핵심강의 주제 ↔ 학술원문 근거

개념 이해구성개념의 정의·경계Clark & Watson (2019) ↗
측정 설계척도개발의 순서·영역 규정Boateng 등 (2018) ↗
연구 판단의심스러운 측정 관행 예방Flake & Fried (2020) ↗
점수 해석점수의 해석·사용에 관한 표준AERA·APA·NCME (2014) ↗

이 문헌들은 일반적인 측정 판단의 근거이다. 가상 신임팀장 사례의 특정 심리적 원인을 입증하는 자료는 아니다. 근거와 사례 해석을 구분한다.

확인한 원문과 검증할 질문을 1주차 연구노트에 기록하기 ↗

필수 두 문헌을 먼저 확인하고, 3·4번은 자신의 사례에 따라 확장한다. 읽음 표시는 자기점검이다. 원문을 확인하지 않았다면 체크하지 않는다. 출처별 DOI는 영구 식별용 링크이며 무료 원문 제공 여부는 발행처마다 다를 수 있다.
05 / FORMATIVE CHECK

판단을 요구하는 형성평가

4문항을 풀고 해설을 확인한다. 3문항 이상 정답일 때 이 단계가 완료된다. 이는 학습용 기준이며 정식 성적이 아니다.

4문항 · 자동 채점
Q1. 신임팀장이 임원회의에서 한 달간 발언한 횟수가 매우 적었다. 여기서 가장 직접적으로 관찰한 것은?
관찰된 것은 발언행동이다. 심리적 안전감이나 자기효능감은 별도 근거가 필요한 구성개념 후보이다. (Clark & Watson, 2019)
Q2. 심리적 안전감 검사에서 높은 점수를 받은 경우 가장 타당한 설명은?
검사점수의 해석과 사용은 타당도 근거와 맥락 검토를 필요로 한다. (AERA·APA·NCME, 2014)
Q3. 관찰된 현상에 잘 맞는 척도를 인터넷에서 먼저 찾았다. 연구설계상 가장 먼저 확인할 사항은?
문제와 개념의 범위를 먼저 분명히 하고 도구의 적합성을 검토해야 한다. 단순 유명세나 문항 수만으로 적합성이 결정되지 않는다. (Boateng 등, 2018)
Q4. 동일한 침묵 사례에서 심리적 안전감과 권력거리 인식이 모두 설명 후보일 때 1주차의 적절한 결정은?
후보를 열어두고 개념 경계와 증거를 검토해야 한다. 너무 이른 확정은 구성개념 오분류와 측정의 불투명성을 초래할 수 있다. (Clark & Watson, 2019; Flake & Fried, 2020)
아직 채점하지 않았다.
06 / CASE JUDGMENT

하나의 침묵, 네 가지 설명

다음은 교육을 위해 구성한 가상 사례이다. 관찰 사실을 심리적 원인과 혼동하지 않는 연습이다.

사례 비평 실습
CASE A · NEW TEAM LEADER

신임팀장은 최근 네 차례의 임원회의에서 질문을 거의 하지 않았고, 두 차례 제안 기회에도 의견을 내지 않았다. 그러나 회의 밖에서는 자신의 업무 개선 아이디어를 동료에게 설명했다.

심리적 안전감

이견을 말했을 때 대인관계상 위험이나 불이익이 예상되는가?

추가로 필요한 자료 · 팀의 반응 및 발언 결과에 대한 인식
리더 자기효능감

회의에서 자신의 판단을 설명하고 역할을 수행할 수 있다는 기대가 있는가?

추가로 필요한 자료 · 과제특수적 효능기대
권력거리 인식

상급자의 권위에 이견을 제시하는 것을 부적절하게 지각하는가?

추가로 필요한 자료 · 위계 규범과 상황별 차이
발언행동

질문·제안·문제제기 행동은 어떤 상황과 상대에게 나타나는가?

추가로 필요한 자료 · 행동의 횟수·유형·관찰기간
관찰된 사실 1개와 아직 추정일 뿐인 설명 1개를 구별하여 작성한다.
사례의 목적은 심리적 안전감이 정답이라는 결론을 내리는 것이 아니다. 성급한 원인 단정을 피하면서 반증 가능한 추가 질문을 설계하는 데 있다.
07 / RESEARCH NOTEBOOK

나의 측정문제 연구노트

자신의 코칭현상으로 돌아간다. 학생이 먼저 작성하고, 이후 문헌 확인과 질문점검을 통해 수정한다.

1주차 핵심 산출물

PART A · 현상 명료화

브라우저 내 임시보관
행동·발화·반응 또는 보고된 경험을 원인 추정 없이 기술한다.
측정의 목적과 의사결정의 관련성을 분명히 한다.

PART B · 후보 구성개념 세 가지

이번 주에는 확정 금지
저자·연도·논문 제목 또는 DOI를 기록한다. 실제 확인하지 않은 문헌은 확인 예정으로 표시한다.
실제 고객을 식별할 수 있는 이름·민감한 상담기록·검사 원문을 입력하지 않는다. 이 학습보드의 연구노트는 현재 브라우저에만 저장된다. 기기를 바꾸기 전에는 파일로 백업한다.
08 / RESEARCH AUDIT

사고점검 · 설명을 의심하는 질문

측정학적 기준으로 자신의 초안을 점검한다. 아래 검토는 규칙 기반 질문 생성이며 외부 생성형 AI에 연결된 평가가 아니다.

자동 질문 생성
연구노트를 작성한 후 점검을 실행하면 확인해야 할 학술적 질문이 표시된다.
학술적 판단의 책임은 연구자에게 있다. 이 점검은 내용의 참·거짓, 연구 적합성, 학술적 인용의 정확성을 자동 검증하지 않는다. 교수 피드백 전에는 모든 구성개념을 잠정 후보로 기록한다.
09 / RESEARCH PORTFOLIO

1주차 증거를 하나의 문서로

노트와 학술근거 검토, 학습활동 이력을 정리한다. 지금의 포트폴리오는 잠정 작업본이며 점수나 도구 적합성 인증이 아니다.

학생 연구성과 누적
측정문제 진술아직 작성되지 않았다
현상 기록기록 필요
후보 구성개념후보 3개 필요
필수 원문 확인0 / 2편
형성평가미응시
검토 후 수정미작성

PROFESSOR REVIEW GATE · 교수 검토

교수자는 관찰 사실·추론의 구별, 측정문제의 명료성, 후보 개념 간 차이, 학술자료 추적 가능성, 성급한 결론의 보류를 확인한다. 현재 화면에는 계정 기반 공식 제출·교수 피드백·다음 주차 승인 기능이 연결되지 않았다. 포트폴리오를 내려받아 별도 검토할 수 있으며, 화면에서 교수 승인을 받은 것처럼 표시하지 않는다.

현재 상태 · 학습기록 작성 중 / 교수 검토 미연결

2주차 연결 · 측정의 원리와 검사점수, 고전검사이론(CTT), 측정오차를 학습하며 1주차의 구성개념 후보들을 재검토한다. 후보의 이론적 정교화는 3주차 구성개념 정의·개발전략 학습으로 연결한다.