W04 | 문항개발과 내용타당도 · 코칭심리측정 및 평가

94 문항

첫 번째 검토 대상

13 명

가상 전문가 패널

65 → 40

교육용 1·2차 정제

20점

수행평가 루브릭

학습 목표와 진행

공식 강의계획서 4주차: 문항풀 구성·문항작성 원칙·Likert 방식·전문가 검토·CVR/CVI·문항정제.

01 · 문항 생성·비평내용영역을 대표하는 문항인지, 두 가지를 동시에 묻지 않는지 판단

02 · 내용타당도 계산13명의 필수성·적절성 점수를 구분하여 CVR과 I-CVI 계산

03 · 문항정제·EFA 연결94→65→40 정제 근거를 보고서로 작성하고 다음 실습으로 연결

실제 연구사례 · 조효정의 2차 델파이 질문지

2026년 박사학위논문의 절차와 새로 확보한 6월 19일 2차 전문가 검토 요청용 질문지에 근거합니다.

확인된 원본 기록

2차 요청용 질문지는 실제 65개 문항, 5개 구성요인과 하위요인 정의, 1~5점 문항 적절성 평정으로 구성되어 있습니다. 전문가 점수와 서술의견은 미기입 상태입니다.

이후 분석을 위한 교육용 모의자료

화면 아래의 94·65문항과 13명 평정은 별도로 작성한 가상 문항·합성 응답입니다. 숫자 65가 같다고 원문 65개와 1:1 대응하는 것은 아닙니다.

실제 원문 구성요인 표기	2차 문항 수	학생 검토 과제
진로 의미형성	9	경험 해석과 일상 인식의 내용영역
삶의 의미 정립	11	삶의 목적과 진로 연결성
의미실천역량	13	의미 있는 행동의 측정 가능성
미래변화대응력	15	미래 변화에 대한 사고·행동의 구분
진로의미확장	17	개인 경험을 넘어서는 의미

원문 출처 안내: 「글로컬대학 진로의미 척도개발_2차 델파이조사 평정 요청_연구자 조효정(0619).xlsx」, ‘문항적절성’ 시트. 원문 문장 65개는 교수용 근거대장에만 보관했습니다. 학생용에는 연구구조와 문항영역을 제공하며, 실제 원문 배포는 저작권·사용권 확인 뒤 결정해야 합니다.

연구 절차와 교육 실습을 구분하기

출처를 정확히 해석하는 능력도 측정학의 핵심 역량입니다.

실제 박사논문에 보고된 흐름94→65→40문항의 내용 검토·FGI → 33문항 EFA → 최종 20문항 CFA. 이번 2차 요청용 질문지에는 응답값이 없습니다.

이번 주 학생이 실행할 흐름완전히 별개의 합성 13인 자료에서 필수성 3점·적절성 4점으로 CVR과 I-CVI를 계산하고 94→65→40 정제를 연습합니다.

사례 이해 확인

질문: 실제 2차 질문지의 5점 적절성 점수를 Lawshe CVR(필수성)으로 그대로 계산해도 될까요?

학술적으로 구분할 두 지표

필수성과 적절성은 서로 다른 질문입니다. 두 비율을 혼동하지 않도록 계산합니다.

CVR · 내용타당도 비율

CVR = (ne - N/2) / (N/2)

필수성 1~3점 중 3점(필수)을 준 전문가 수가 ne입니다. N=13에서 ne≥10일 때 CVR≥0.53846.

I-CVI · 문항 내용타당도 지수

I-CVI = 적절성 3~4점 수 / N

적절성 1~4점 중 3~4점을 선택한 전문가의 비율입니다. 13명 기준 11명 이상이면 I-CVI≥.78. 단, 이는 적절성 합의에 대한 교육용 판단선이며 우연일치 보정이나 내용영역의 완전한 대표성을 자동 보증하지 않습니다. Polit·Beck·Owen(2007)의 수정 kappa 논의 ↗

실습 1 · 경계값 직접 계산하기

전문가 수와 통과 조건은 교육용 고정 사례에 근거합니다. 필수성 3점 수와 적절성 3~4점 수를 바꿔보세요.

패널 전문가 수

필수(3점)라고 평가한 전문가 수

적절(3~4점)이라고 평가한 전문가 수

생각해 보기: 10명이 필수라고 답해 CVR을 통과하더라도, 적절성 3~4점에 동의한 전문가가 10명이라면 어떻게 판단해야 할까요?

실습 2 · 교육용 합성 94문항 계산하기

모든 숫자는 고정된 교육용 평정자료입니다. 결과를 보려면 '분석 결과 보기'를 누르거나 학생용 Excel에서 직접 계산하세요.

문항 ID/문장 검색

내용영역

표시 행

문항ID	내용영역	새로 작성한 교육용 문장	ne	적절성 수	CVR	I-CVI	1차/2차 판정

교육용 정제는 1차 94→65, 2차 65→40으로 설계했습니다. 통과 문항도 내용영역 대표성·표현 편향을 반드시 다시 확인하세요.

실습자료 다운로드 · 수행결과 보관

홈페이지 4주차 학습보드입니다. 실습기록은 현재 사용하는 브라우저에만 임시 저장되며, 출석·서버 진도·교수자 채점과 자동 연동되지 않습니다. 제출용 결과는 아래에서 파일로 내려받으세요.

학생용 계산 워크북 실습 가이드 PDF 1차 평정 CSV 2차 평정 CSV

제출물

1차·2차 CVR 및 I-CVI 계산을 완료한 Excel
문항 5개 이상의 표현 개선안과 근거
94→65→40 정제 의사결정표
1~2쪽 해석보고서: 실제 연구와 합성자료의 차이를 포함

실제 연구에 적용할 때

실제 델파이 연구에서는 전문가 자격, 사전 정의한 평가기준, 회차별 수정 이력, 결측·철회, 연구윤리와 문항 사용권을 기록해야 합니다. CVR·I-CVI를 통과하는 것만으로 척도가 신뢰롭거나 타당하다고 단정할 수 없습니다. 다음 5주차에는 문항분석·신뢰도, 6주차에는 40문항 EFA, 7주차에는 20문항 CFA의 측정학적 판단을 훈련합니다.

학술적 근거: Lawshe (1975) · Ayre & Scally (2014) · Polit, Beck & Owen (2007). 연구사례: 조효정(2026) 박사학위논문. 원문 문항을 그대로 재배포하지 않았습니다.

학습 3 · 결과 해석 및 산출물 작성

계산한 값을 그대로 옮기는 것을 넘어, 실제 연구자료와 합성자료를 구분하고 문항의 의미를 판단합니다.

4주차 수행 확인표

0/4단계

실제 2차 질문지의 5점 적절성 평가와 합성 CVR 필수성 평가를 구분했다. 13명 전문가의 CVR·I-CVI 기준값을 직접 계산하고 해석했다. 가상 1차 94개·2차 65개 문항의 정제 결과를 확인했다. 문항 수정안과 유지·제외 판단 근거를 작성했다.

① 문항 표현 개선안 (문항 ID와 수정 전·후 표현, 이유를 최소 5개 작성) ② 94→65→40 문항 정제 결과 해석 (CVR·I-CVI와 내용영역 대표성을 구분) ③ 연구와 실습의 차이, 실무 적용 한계

자동 임시저장은 현재 브라우저에만 적용됩니다. 파일을 내려받아 별도로 제출하세요.