J Korean Acad Soc Nurs Educ Search

CLOSE


J Korean Acad Soc Nurs Educ > Volume 19(4); 2013 > Article
Kim: The Proposed Rubrics Simulation Education Effect on Nursing Student's Academic Achievement

Abstract

Purpose: The purpose of this study was to develop a rubric for simulation education and to evaluate this rubric's effect on academic achievement of nursing students. Methods: The rubric was developed through nursing expert’s and student’s negotiation. Content validity was verified. The participants were 144 undergraduate nursing students recruited from the one university in G city. The participants were given the simulation education for 15 weeks from July, 2011 through December, 2012.[LAB1] The rubric was presented to the experimental group before the course began but was not presented to the control group. The data were analyzed by t-test, x2-test with SPSS win 17.0 program. Results: The simulation education rubric was to improve academic achievement. Looking at the results it significantly improved nursing competence and knowledge. Conclusion: The rubric had a positive effect on academic achievement. A rubric with a high reliability and validity in a number of areas needs to be developed, and there is a need to develop a standardized rubric for simulation education.

서 론

연구의 필요성

최근 임상환경은 의료지식과 기술이 급속히 발전하는 상황에서 효과적으로 신속하게 대처할 수 있는 전문적 간호역량을 갖춘 인재를 요구하고 있다(Kim, 2004; Kim, Kim, Chae, & Kim, 2007). 이에 한국간호교육평가원(Korean Accreditation Board of Nursing Education)은 간호사의 전문역량과 간호학 교육기관 교육프로그램의 질적 향상을 위해 간호교육인증평가를 실시하고 있으며 이를 위해 지속적으로 교육프로그램 기준과 지침, 인증 및 자문을 시행하고 있다. 간호교육인증평가의 다양한 내용 중 12가지 학습성과에 대한 이해와 평가는 많은 대학들이 간호학 전공 학생들의 전문역량을 향상시키기 위한 다양한 인증 프로그램 개발의 궁극적인 목적과도 연관이 있어 그 중요성이 점차 강조되고 있다.
간호교육의 핵심인 임상실습교육에서는 이러한 학습성과를 적절하게 도출할 수 있는지에 대한 문제점이 제기되면서 효과적인 임상실습을 진행하기 위한 대안으로 시뮬레이션이 교육이 활용되고 있다(Decker, Sportsman, Puetz, & Billings, 2008; Kang, Choi, & Kim, 2013). 첨단 공학 발달과 더불어 더욱 세분화 되고 있는 시뮬레이션 교육은 실제 임상상황과 유사한 가상의 시나리오를 바탕으로 환자 시뮬레이터를 활용하여 간호행위에 따라 즉각적으로 반응이 나타나는 환자와의 상호작용을 통해 실습을 할 수 있는 것이 큰 장점이다(Kang et al., 2013). 이는 전통적 강의 방식의 교육보다 간호학생의 지식과 기술을 향상시키고 반복적인 간호중재 훈련을 가능하게 하여 임상수행능력을 증진시킬 수 있으며 임상현장 적응력을 높이는 데 유용하다(Garrett, MacPhee, & Jackson, 2010; Kang et al., 2013).
시뮬레이션 교육의 괄목할 만한 특성 중 하나는 수업 과정에서 간호학생들이 자신의 학습과정과 방법, 학습한 결과에 대하여 학습자의 성찰이 끊임없이 반복된다는 특성을 가진다는 것이다. 즉, 하나의 시나리오 안에서 환자의 건강문제를 해결하는 일련의 과정 동안 간호학생 개인에게는 빈번한 팀 상호작용을 통해 동료들과 자신의 학습결과를 비교하여 자신의 간호학적 지식수준과 실무 적용수준을 객관적으로 평가하게 되는 성찰의 기회가 여러 번 주어진다. 성찰은 학생 스스로 시나리오 상황에서 자신의 행동과 그 결과를 점검해 보도록 함으로써 독립적인 학습 및 과제를 수행하도록 유지시키고, 습득한 새로운 간호지식과 간호술기를 유지하고 일반화하는데 효과적이며 교수자가 의도한 학습목표 달성에 긍정적으로 영향을 미친다(Lane, Graham, Harris, & Weisenbach, 2006; Park, Choi, & Lee, 2008). 이러한 성찰을 위해 학생이 자기주도적으로 자신을 점검할 수 있는 자기점검 도구가 필요한데 이 때 활용할 수 있는 것이 루브릭(Rubric)이다. 루브릭이란 어떠한 교육과정 내에서 학습자에게서 관찰할 수 있는 수행의 다양한 수준을 기술하여 명확한 채점 기준을 제시해 주는 양식으로서 교수자가 학생들의 수행활동들을 특정 기준에 의거 목록화 하여 그 수준을 결정하고 점수화하는 도구이다(Goodrich, 2000). 루브릭 개발을 통해 학습성과를 점수로 계량화하는 과정은 교육의 실질적 개선을 위한 목표 설정과 운영 과정의 개선도 가능하게 한다(Andrade & Du, 2005; Kim & Jhee, 2009; Moskal, 2000; Nott, Reeve, & Reeve, 1992). 또한 루브릭은 교수와 학습자의 학습과정 및 평가를 통합시켜 줄 수 있고, 학습자에게 교과목 또는 교육과정을 안내해 주며 교수자와 학습자 간 의사소통의 매개 역할을 담당한다(Han & Lee, 2005; Moskal, 2000). 이에 시뮬레이션 교육에 루브릭을 활용하는 것은 간호학생들의 학습성과를 객관적인 점수로 계량화하여 교수자가 간호학생의 전문역량을 체계적으로 파악하고 부족한 부분을 세심하게 지도할 수 있게 하며 간호학생들에게는 루브릭을 통해 자신의 학습수준을 지속적으로 점검함으로써 익숙하지 않은 팀 학습활동에서 충분한 학습동기를 유발시켜 지식뿐만 아니라 간호수행능력을 포함한 학업성취도를 향상시킬 수 있을 것이다.
이와 같이 간호학 실습 교육의 학습성과를 학생들이 성공적으로 도출하기 위해 시뮬레이션 교육에 간호학생들의 학습방향 및 학습수준을 제시한 루브릭을 활용해 보는 것은 의미가 있다. 그러나 시뮬레이션 교육에서 학습성과를 측정하기 위한 루브릭 개발은 미비한 실정으로, 본 연구에서는 시뮬레이션 교육을 위한 루브릭을 개발하고 간호학생들에게 적용한 후 그 효과를 검증하고자 한다.

연구 목적

본 연구의 목적은 간호학과 4학년 학생들을 대상으로 루브릭을 제시한 시뮬레이션 교육이 간호학생의 학업성취도에 미치는 효과를 파악하고자 하는 것이다.

용어 정의

●루브릭

루브릭은 교육 프로그램에서 학습자의 수행에 대한 다양한 수준을 기술한 양식으로 학습자의 수행 활동들을 특정 기준에 의거 목록화 하여 그 수준을 결정하고 점수화하는 도구이다(Goodrich, 1996). 본 연구에서는 Goodrich (1996)가 제시한 단계에 따라 한국간호인증평가원의 12가지 학습성과를 바탕으로 본 연구자가 개발한 루브릭을 말한다.

●학습성과(Program outcomes, course outcomes)

학습성과는 학생들이 어떤 일을 얼마만큼 수행할 수 있는 지를 진술한 수행목표를 말한다(Arter & McTighe, 2001). 본 연구에서는 학생들이 시뮬레이션 교육을 받고난 후 수행할 수 있어야 하는 수행목표를 진술한 것이다.

●수행준거(Performance criteria)

수행준거는 학생의 반응, 결과물, 학습자의 학습과정을 판단하기 위한 안내 또는 규칙으로 학습성과의 질을 판단하기 위해 학습자의 수행정도와 결과물에서 기대하는 정도를 말한다(Arter & McTighe, 2001). 본 연구에서는 시뮬레이션 교육과정 동안 간호학생들이 달성한 학습성과의 질을 판단하기 위한 것으로 학습 과정 및 학습 과제를 통해 궁극적으로 무엇을 찾아야 하는지를 설명해 놓은 가이드라인이다.

●수행수준(Performance level)

본 연구의 수행수준은 수행준거에 근거하여 학습성과의 달성 정도를 3단계로 나누어 상세하게 기술한 문장이다.

●성취수준(The final level of achievement)

본 연구의 성취수준은 팀기반학습 연계 시뮬레이션 교육을 통해 간호학생들이 달성해야 할 학습성과에 대한 기대 수준이다.

●평가도구(Evaluation tools)

본 연구의 평가도구들은 수행준거에 근거하여 학습성과를 핵심적으로 평가할 내용을 의미한다.

●평가도구의 루브릭(Rubrics of the evaluation tools)

본 연구의 평가도구의 루브릭은 수행준거, 성취수준을 근거로 평가도구를 통해 달성한 학습성과의 질 정도를 최종적으로 채점하여 판단하기 위해 객관적으로 점수화 하여 3단계로 상세하게 기술한 문장이다.

●교과목의 루브릭(Rubrics of the course)

본 연구의 교과목의 루브릭은 수행수준에 근거하여 교육과정 동안 평가도구들을 통해 달성한 학습성과의 질 정도를 3단계로 점수화 하여 객관적으로 기술한 것이다.

●학업성취도

학업성취도란 학습자가 특정 수업의 결과로 정보나 기술을 획득하는 정도를 측정한 것을 말한다(Ary, Jacobs, & Razavieh, 2002). 본 연구에서는 간호수행능력평가와 지필평가의 합산 점수를 의미한다.

연구 방법

연구 설계

본 연구는 시뮬레이션 교육을 위한 루브릭을 개발하고 이를 간호학생에게 적용한 후 학업성취도에 미치는 효과를 분석한 비동등성 대조군 전후 시차설계를 이용한 유사실험연구이다.

연구 대상자

본 연구는 G시 소재 4년제 일 대학의 간호학과 4학년 학생들을 대상으로 선정하였다. 실험군은 2012년도 4학년, 대조군은 2011년도 4학년 학생으로 동일한 대학에서 동일한 교육과정을 이수한 상태에서 4학년 2학기에 시뮬레이션 교육을 받았다. 대상자들은 과거에 시뮬레이션 학습을 경험하지 못한 학생들로 연구 기간 동안 이와 관련된 다른 수업이나 임상실습은 없었다.
실험군 4학년 66명, 대조군 78명 학생을 대상으로 연구의 목적을 설명하였고 연구 참여 여부는 자발적이며 연구 도중 언제라도 중단할 수 있으며 중단하는 학생들에게 어떤 불이익이 주어지지 않음을 설명하였다. 연구 참여에 서면 동의한 대상자만을 포함하고자 하였으나 전원 참여에 동의하였다. 표본수 산정을 위해 G-power 3.0을 이용하여 단일군전후비교를 위한 t-검정에 필요한 대상자 수를 effect size 0.5, α= .05, 검정력은 0.80으로 계산한 결과, 대상자 수가 27명으로 나왔다. 본 연구에서는 중도 탈락자 없이 총 144명이 참여하였다.
시뮬레이션 교육을 위한 팀 구성은 Barkley, Cross와 Major (2005)의 무작위 배정방법으로 퍼즐완성활동을 실시하였다. 먼저 시중에서 판매 중인 6조각의 유아용 완구 퍼즐(아기지능방 탈것 퍼즐, 은하수미디어, 서울, 한국)을 학생들이 교실 앞으로 나와 무작위로 조각을 하나씩 뽑은 후, 완성된 퍼즐의 모양을 화면에 제시한 후 학생들이 교실을 돌아다니면 자신의 조각을 다른 학생들과 맞추어 퍼즐을 완성하도록 하였다. 조각이 모였을 때 바로 그 6명이 한 팀으로 되도록 하였다. 그 결과 실험군은 6명씩 11개의 팀으로 구성되었고 대조군은 6명씩 13개의 팀으로 구성되었다.

연구 절차

본 연구는 2011년 7월에서 2012년 12월까지 진행되었으며, 연구 진행절차는 루브릭 개발과 개발된 루브릭을 제시하여 시뮬레이션 교육효과에 미치는 효과를 파악하는 순서로 진행하였다.

● 사전조사

루브릭 개발을 위해 2012년 한국간호평가원에서 제시한 12가지 학습성과를 기반으로 간호학과 4학년 학생, 간호학생들이 실습을 나갔던 실습병원의 임상실습지도자, 시뮬레이션 수업을 3년 이상 운영해 본 경험이 있는 간호학 교수 3인에게 설문조사를 실시하였다. 설문 내용으로 12가지 학습성과의 우선순위, 평가 영역, 수행준거와 수행수준, 수행평가도구에 대한 의견이 있었다. 실험군과 대조군에게는 제시된 시뮬레이션 교육을 적용하기 전 일반적 특성을 조사하였다.

● 실험처치

• 루브릭 개발
다음과 같은 순서로 Goodrich (1996)가 제시한 절차를 따라 루브릭이 개발되었다(Table 1)(Table 2).
<Table 1>

Developed Rubrics for Simulation Education

Course outcome1
Performance criteria Integrate the appropriate knowledge and practice in order to solve the problems of the patient in the scenario.
Performance
level
High The patient's health problems are properly addressed by integrating nursing knowledge and practice.
Midium By integrating nursing knowledge and practice to solve the problem of the patient's health, but partially.
Low It does not solve the problem of lack of understanding of nursing knowledge and practice for the health of the patient.
The final level of achievement Midium level of 80% is reached
Evaluation Grades      Grade 4 semesters
Course name   Simulation Education
Evaluation tools Readiness
Assurance Test
Checklist of nursing intervention Checklist of ability to communicate
Score distribution(100) 30 40 30
Rubrics
of the Evaluation
tools
Lack  ≤20 points
On average, more than 10 of he test problem is wrong
 ≤29 points
On average, more than 6 of the nursing intervention is immature
 ≤19 points
On average, more than 6 of the communicate is immature
Moderate  21-26 points
On average, 4-9 of the test problem is wrong
 30-35 points
On average, 3-5 of the nursing intervention is immature
 20-25 points
On average, 3-5 of the communicate is immature
Excellent  27-30 points
On average, 1-3 of the test problem is wrong
 36-40 points
On average, 1-2 of the nursing intervention is immature
 26-30
On average, 1-2 of the communicate is immature
Evaluation time Team based learning times Simulation education times Simulation education times
Rubrics of the course High     Total score of 89 points or more assessed by the evaluation tool.
Midium   Total score of 79-88 points assessed by the evaluation tool.
Low    Total score of 68 points or less, assessed by the evaluation tool.
Related course Anatomy, Physiology, Pharmacology, Pathophysiology, Nursing Process, Fundamentals Nursing, Adult Nursing
Evaluation system
and the results
• For specific examples to students in the beginning of the semester through the first class.
• The evaluation system is open to the center for teaching and learning
Feedback • Reflected in the operation of the three subjects received feedback.
• The center for teaching and learning is open to the end of the semester the course improvements based on the analysis of learning outcomes assessment and the achievement.
• It is used as the basic material data sharing, and all the professors and modified through the CQI reports.
<Table 2>

Developed Rubrics for Simulation Education

Course outcome6
Performance criteria In the scenario, find the patient's nursing problems and apply the nursing process based on critical thinking.
Performance level High Apply the nursing process, as appropriate based on the nursing knowledge about the patient's nursing problems.
Midium Appropriate nursing process based on the nursing knowledge about the patient's nursing problems, but is partially.
Low It does not connect with the nursing process and the lack of understanding about the patient's nursing problem.
The final level of achievement Midium level of 80% is reached
Evaluation Grades      Grade 4 semesters
Course name   Simulation Education
Assesment tools Learning note Nursing process paper exam
Score distribution(100) 60 40
Rubrics
of the Evaluation
tools
Lack   ≤34 points
On average, 1 nursing problems of patients found and the application of the nursing process is immature.
  ≤24 points
On average. difficult to apply the nursing process to the patient's problem and the lack of integration of nursing knowledge and practical
Moderate   35-49 points
On average, 2-3 was found in the patient's nursing problem through a variety of data collection, a partial understanding about the application of the nursing process.
  25-34 points
On average. partially apply the nursing process for a patient's nursing problem and the lack of integration of nursing knowledge and practical.
Excellent   50-60 points
On average, patients with four or more problems were found through a variety of data collection, and systematic understanding of the application of the nursing process is
  35-40 points
On average, expertly apply the nursing process to the patient's nursing problem by integrating nursing knowledge and practical.
Evaluation time Team based learning times Simulation education times
Rubrics of the course High     Total score of 85 points or more assessed by the evaluation tool.
Midium   Total score of 60-84 points assessed by the evaluation tool.
Low    Total score of 58 points or less, assessed by the evaluation tool.
Related courses Anatomy, Physiology, Pharmacology, Pathophysiology, Nursing Process, Fundamentals Nursing, Adult Nursing
Evaluation system
and the results
• For specific examples to students in the beginning of the semester through the first class.
• The evaluation system is open to the center for teaching and learning
Feedback • Reflected in the operation of the three subjects received feedback.
• The center for teaching and learning is open to the end of the semester the course improvements based on the analysis of learning outcomes assessment and the achievement.
• It is used as the basic material data sharing, and all the professors and modified through the CQI reports.
① 시뮬레이션 교육을 위한 루브릭 개발 목표의 확인
시뮬레이션 교육에서 성취해야 할 학습목표는 시뮬레이션 교육과정이 효과적으로 운영되는 데 있어 매우 중요한 부분이므로(Cooper & Taqueti, 2008) 루브릭 개발 과정에 간호학생과 간호학 교수, 임상실습지도자들의 실질적인 요구가 반영되도록 하여 사전조사 설문결과를 바탕으로 루브릭을 통해 성취해야 할 목표를 명확하고 구체적으로 진술하였다
이에 시뮬레이션 교육을 통해 간호학과 4학년 학생들이 시나리오와 관련된 간호지식과 간호수행능력의 효과적인 습득, 간호학생의 학습수준에 대한 자기점검을 통해 학업성취도를 증진시키는데 본 연구의 루브릭 개발의 목표를 두었다.
② 루브릭 개발 영역의 선정
루브릭 개발 영역을 선정하기 위해 사전 설문결과와 국내 간호학과에서 시행중인 시뮬레이션 교육과정, 간호학 교육과정, 한국간호평가원이 제시한 12가지 학습성과를 분석하였고 전문가 자문을 구한 결과, 한국간호교육평가원이 제시한 다음의 12가지 학습성과에서 시뮬레이션 교과목과 가장 연관성이 높은 학습성과1과 학습성과6의 2가지 학습성과를 선정하였다.
• 학습성과1 : 다양한 교양지식과 전공지식에 근거한 간호술을 통합적으로 실무에 적용한다.
• 학습성과2 : 대상자의 간호상황에 따른 핵심기본간호술을 선택하여 실행한다.
• 학습성과3 : 언어적, 비언어적 상호작용을 통한 치료적 의사소통술을 적용한다.
• 학습성과5 : 보건의료 팀 내 업무조정 역할의 중요성을 설명한다.
• 학습성과6 : 비판적 사고에 근거한 간호과정을 적용하고 임상적 추론을 실행한다.
• 학습성과7 : 간호전문직 표준을 이해하고 확인한다.
• 학습성과8 : 간호실무의 법적, 윤리적 기준을 이해하고 간호실무에 통합한다.
• 학습성과9 : 간호리더십의 원리를 비교·분석한다.
• 학습성과10 : 간호 팀 내 리더십을 발휘한다.
• 학습성과11 : 간호연구를 기획하고 직접 수행한다.
• 학습성과12 : 국내외 보건의료 정책 변화를 인지한다.
학습성과1을 선정한 이유는 시뮬레이션 교육에서 활용되는 시나리오 상황의 간호문제를 해결하기 위해 간호학생들은 교양 교과목을 비롯하여 간호학 전공기초 교과목과 전공심화 교과목 학습을 통해 습득한 간호지식을 임상실무와 통합하여 문제 상황에 적절하게 적용할 수 있어야 하므로 시뮬레이션 교육에서 핵심으로 인식되는 중요한 학습성과이기 때문이다. 학습성과6을 선정한 이유는 시나리오 상황의 간호문제 해결의 기초를 제공할 수 있는 것이 비판적 사고능력에 기반한 간호과정이기 때문이다(Adams, 1999). 비판적 사고에 의한 간호과정을 적용하는 것은 간호학생이 간호문제와 이에 대한 대상자의 반응 모두에 초점을 맞추고 단순 업무 중심이 아닌 복합적인 사고 중심으로 기능하기 위한 기틀을 제공하므로 시뮬레이션 교육에서 필요하다.
③ 루브릭 수행준거 선정 및 수행수준의 진술
루브릭의 수행준거와 수행수준은 루브릭 개발 영역의 선정과 동일한 분석 과정을 거쳐 시뮬레이션 교육에서 강조되는 공통 내용을 추출하여 1개씩 진술문이 선정되었다(Table 1)(Table 2). 각 준거가 정해진 후 최고 수행수준과 최저 수행수준을 먼저 설정한 후 그 사이의 중간 수준을 채워 넣어 3단계로 선정하였다. 루브릭 수행준거와 수행수준은 Crawford (2001)의 연구와 같이 간호학생들이 자신의 학습 결과에 대한 점수를 추측할 수 있고 결과를 향상시키기 위해 무엇이 필요한지 이해할 수 있도록 상세하게 기술하였다.
• 학습성과1에 대한 수행준거 : 시나리오 상황에서 환자의 건강문제를 해결하기 위해 적절한 지식과 실무를 통합할 수 있다.
• 학습성과1에 대한 수행수준 :
- 상 : 환자의 건강문제에 대하여 간호지식과 실무를 적절하게 통합한다.
- 중 : 환자의 건강문제에 대하여 간호지식과 실무를 적절하게 통합하지만 부분적이다.
- 하 : 환자의 건강문제에 대하여 간호지식과 실무의 이해가 부족하고 문제를 해결하지 못한다.
• 학습성과6에 대한 수행준거 : 시나리오 상황에서 환자의 간호문제를 발견하고 비판적 사고를 기반으로 간호과정을 적용한다.
• 학습성과6에 대한 수행수준 :
- 상 : 간호지식을 기반으로 환자의 간호문제에 대하여 적절하게 간호과정을 적용한다.
- 중 : 간호지식을 기반으로 환자의 간호문제에 대하여 간호과정을 적용하지만 부분적이다.
- 하 : 환자의 간호문제를 이해하지 못하고 간호과정과 연결하지 못한다.
학습성과1과 학습성과6에 대한 수행준거와 수행수준에 따라 성취수준, 평가도구, 평가도구에 대한 루브릭, 평가시기, 교과목의 루브릭, 평가 시스템과 결과의 게시, 피드백에 관련된 진술물이 선정되었다. Han과 Lee (2005)의 연구와 같은 맥락에서 학습자로 하여금 루브릭을 활용해 학습능력을 평가하게 하고 교과목을 통해 성취해야 할 학습목표를 구체적으로 알게 하는 것은 수업에 대한 주의집중, 만족감, 자신감을 향상시켜주고, 결과적으로 학습자가 교수자의 목표대로 학습성과를 성취하는데 유용하다.
④ 루브릭의 수정 및 보완
루브릭의 수정 및 보완을 위한 1차 단계로 대조군 학생들의 의견을 반영하였다. 시뮬레이션 교육이 모두 끝난 후 개발된 루브릭을 받은 대조군 학생들은 자신들이 쉽게 이해할 수 있는 단어로 진술물을 작성해 주기를 원하였고, 루브릭을 제시하면서 시뮬레이션 교육의 실제 운영 사진 또는 동영상, 사전학습 준비도 테스트의 문제유형들을 함께 보여주기를 요구하였다. 평가체계와 결과를 학과 홈페이지에 게시하고자 한 것을 교수학습센터에 게시하기로 하였으며 교과목과 관련된 피드백을 교육과정 전, 중, 후 총 3번을 실시하고자 한 것에 대해 학생들은 전과 후 총 2번 실시를 원하였다. 그러나 Goodrich (2000), Jo와 Lee (2011)의 연구결과에서는 루브릭 개발 과정에 학습자를 적극적이며 다양한 방법으로 개입시키는 것은 추후 수업 운영을 개선하고 더욱 객관적이며 실질적인 평가가 이루어 질 수 있게 하고 학습자의 학업성취도를 향상시키는데 도움이 된다고 하였다. 이를 근거로 본 연구자는 교육과정 중간에 학생들의 피드백을 받아 교육과정 초반의 수업운영과 수업내용 수정을 위한 근거자료로 활용하고자 기존 방향대로 총 3번 진행하였다.
2차 단계로 선정된 모든 진술문은 시뮬레이션 교과목 운영 경험이 있는 간호학교수 3인에게 내용 타당도를 검증받았다. 각 진술 문장의 타당도는 1개의 진술 문장당 1개의 타당성 평가 문항으로 검증하였고 중간점수로의 편중을 막기 위해 4점 척도로 ‘매우 타당하다’ 4점, ‘타당하다’ 3점, ‘타당하지 않다’ 2점, ‘전혀 타당하지 않다’ 1점으로 평가하였다. 그 결과 산출된 내용 타당도 계수 CVI (Content Validity Index)가 모두 .80 이상임을 확인하였다. 이와 같은 과정에 의해 개발된 루브릭은 실험군에게 시뮬레이션 교육과정의 시작 시점에 제시되도록 하였다.
루브릭 개발 과정에 학생들을 비롯하여 관련 전문가들이 참여함으로써 교과목 운영의 목표를 보다 분명하게 설정할 수 있고, 학습자가 교과목에서 꼭 성취해야 할 부분이 무엇인지 알게 해주며 학습자의 학습수준 또는 수행수준을 인식하게 하여 더 나은 방향으로 개선해 나가도록 도와준다는 선행연구들(Arter & McTighe, 2001; Lee, 2006; Lundberg, 1997)에 근거한 것이다.
• 시뮬레이션 교육
① 모듈 개발
시뮬레이션 교육을 위해 필요한 모듈은 Kim, Choi와 Kang (2010)이 개발한 것을 사용하였는데 총 3가지 시나리오로 한 시나리오 당 기초 단계와 심화 단계로 진행되었다.
② 모듈 적용
본 연구자는 실험군과 대조군에게 다음과 같은 내용이 포함된 수업계획서를 배포하였다.
• 학점 : 1
• 구분 : 전공필수
• 강의시간 : 2시간/주
• 강의실 : Operating room과 모의실습실이 분리된 시뮬레이션 실습실
시뮬레이션 교육에 앞서 간호학생들의 간호지식과 실무의 통합을 돕기 위해 팀기반학습을 시행하였다. 시뮬레이션 교육에서 학생들은 기본적으로 팀을 구성하여 참여하게 되는데 팀 활동을 촉진시켜 주어진 다양한 간호문제를 적절하게 해결하기 위한 교수학습전략으로 본 연구에서는 시뮬레이션 교육에 팀기반학습을 연계 하였다(Grady & Pharm, 2011; Michaelsen, 2002). 연구자는 수업이 시작되기 1주일 전, 간호학생들의 인터넷 카페에 학습해야 할 시나리오 주제를 제시하고 본인이 선호하는 방법으로 개인 사전학습 후 수업에 참여하도록 하였다. 수업이 시작되기 직전, 팀 구성원 중 오늘의 조장, 오늘의 서기, 오늘의 발표자 등을 팀 내에서 스스로 결정하도록 하였고, 수업이 시작되면 학습해야 할 주제와 학습목표에 대하여 소개하였다. 이후 시나리오 주제와 관련된 내용으로 개인 사전학습 준비도 평가와 팀 사전학습 준비도 평가를 실시한 후 배포된 시나리오를 읽고 학습자 노트를 작성하도록 하였다.
시뮬레이션 교육은 팀별로 시나리오관련 학습과 문제파악 및 환자교육 자료준비, 간호사로서 문제해결을 위한 간호행위에 대한 계획을 수립하여 팀원끼리 연습해 오도록 하였다. 팀별로 정해진 시간에 실습을 연습할 수 있는 대기실로 와서 1시간 동안 충분히 준비할 수 있도록 하였다. 준비가 되면 시뮬레이션 실습실로 입실한 후 추첨을 통해 그날 정해진 역할에 따라 간호사 1, 간호사 2, 의사, 관찰자, 촬영자로 정하였고 촬영자는 팀 활동을 지켜보면서 스마트폰으로 촬영하도록 하였다. 시뮬레이션 수업 운영은 인수인계를 포함하여 문제해결을 위한 간호활동 이외에도 보호자뿐만 아니라 다른 의료진과의 의사소통 및 환자상황보고 등도 할 수 있도록 하여 15-20분 동안 진행하였다. 시뮬레이션 교육이 끝난 후 학습자 노트와 스마트폰으로 촬영된 영상을 보며 40분 동안 디브리핑(debriefing)을 실시하였는데, 각 상황에 대한 문제파악 및 해결방법을 서로 공유하였고 각 역할을 하면서 느낀점과 개선점 등을 나누며 성찰의 기회를 갖도록 하였다.
실험군과 대조군의 모든 교육과정은 본 연구자가 진행하였고, 대조군에게는 루브릭 제시가 없는 시뮬레이션 교육을, 실험군에게는 개발된 루브릭을 제시한 후 대조군과 동일한 교육방법으로 시뮬레이션 교육을 적용하였다. 전체 15주 중 첫 1주는 오리엔테이션, 2주와 3주째에 자율실습 형식으로 핵심기본간호술을 연습하게 하였다. 다음 4주에서 9주 동안 3개의 시나리오와 관련된 팀기반학습과 기초 단계의 시뮬레이션 실습이 번갈아 이루어졌으며, 10주째에는 자율실습이, 11주에서 13주 동안 3개의 시나리오에 대한 시뮬레이션 심화 단계 실습이 이루어 졌다.

● 사후 조사

시뮬레이션 교육과정의 14주째에 실험군과 대조군에게 학업성취도인 간호수행능력평가와 지필평가가 시행되었고, 마지막 15주째에 시뮬레이션 교육과 관련된 평가의 시간을 갖도록 하였다.

연구 도구

●학업성취도

본 연구에서는 간호수행능력을 평가하기 위해 연구자가 개발한 표준화 환자 활용 간호수행능력 체크리스트 도구를 사용하였다. 이 도구는 간호학생들이 학습한 시나리오를 바탕으로 재구성된 평가용 시나리오 상황에 따라 필요한 간호중재 체크리스트 항목과 표준화 환자용 의사소통능력 체크리스트 항목으로 나누어 구성되었다. 본 도구는 표준화 환자에게 얼마나 정확히 간호중재를 수행하는가를 관찰, 측정하였으며 체크리스트 형식으로 각 항목을 ‘잘했음’ 2점, ‘틀리게 했음’ 1점, ‘안했음’ 0점으로 처리하였다. 의사소통능력의 평가는 간호학생이 표준화 환자에게 간호술을 수행할 때 일어나는 의사소통과정을 관찰, 측정할 수 있는 체크리스트로 표준화 환자가 측정하도록 하였다. 간호중재 체크리스트와 표준화 환자용 의사소통능력 체크리스트의 합산 점수의 범위는 최대 60점에서 최소 5점까지 이다.
지필평가는 최근 5년간 국가고시 문제를 토대로 본 연구자가 평가용 시나리오와 관련된 내용으로 40문항을 구성하였다. 각 문항은 5지 선다형으로 맞으면 1점, 틀리면 0점을 주었고 점수의 범위는 최대 40점에서 0점까지 이다.
간호수행능력평가와 지필평가를 위한 도구 개발 후 시뮬레이션 수업을 운영하고 있는 간호학 교수 3인에게 평가항목과 평가기준에 대한 전문가 타당도를 검증받아 산출된 내용 타당도 계수 CVI(Content Validity Index)가 .80 이상인 진술 문장만을 사용하였으며 합산한 점수가 높을수록 학업성취도가 높음을 의미한다.

자료 분석 방법

수집된 자료는 SPSS/WIN 18.0 program을 이용하여 분석하였다.
첫째, 실험군과 대조군의 일반적 특성에 대한 동질성 검증을 위해 t-test, x2-test를 실시하였다.
둘째, 실험 효과를 파악하는 가설 검정을 위해 학업성취도에 대한 실험군과 대조군의 차이검정은 t-test로 분석하였다.

연구의 제한점

첫째, 4년제 일개대학의 간호학과 학생들만을 대상으로 하여 다른 임상환경이나 3년제 교육과정의 학생들에게 결과를 일반화하는 데에는 무리가 있다.
둘째, 임상수행능력의 평가에 있어 간호학생의 개인적 노력이나 연습에 대한 통제를 하지 못하였다.
셋째, 시뮬레이션 교육과 관련된 특정 교과목에서 적용된 루브릭이므로 간호학 전반에 걸쳐 활용되기에 무리가 있다.

연구 결과

일반적 특성에 대한 동질성 검정

본 연구 대상자의 평균 연령은 실험군 23.91±2.59세, 대조군 23.59±2.23세였고, 실험군과 대조군 모두 여학생이 대부분이었다. 간호학과를 선택한 동기는 실험군 38명(57.6%)과 대조군 46명(58.9%)이 ‘취업률을 고려하여 지원하였다’에 응답하였다. 간호학 전공에 대한 만족도는 실험군 34명(51.5%)이 높다고 응답하였고, 대조군 42명(53.8%)이 보통이라고 응답하였고, 대학생활에 대한 만족도는 실험군 19명(59.4%), 대조군 17명(54.8%)이 보통이라고 조사되었으며, 이전 학기까지의 평균 성적은 실험군(46.9%)과 대조군(48.7%) 모두 ‘3.51-3.99점’이 가장 많았다.
따라서 두 집단의 일반적 특성에 대한 동질성을 검정한 결과 통계적으로 유의한 차이가 없어 두 집단은 동질한 것으로 나타났다(Table 3).
<Table 3>

Homogeneity Test for Characteristics between Experimental and Control Groups

Characteristics Categories Experimental group
(n=66)
Control group
(n=78)
t p
n(%) n(%)
Age Mean±SD 23.91±2.59 23.59±22.59 3.67 .112
Gender Male 6( 9.1) 6( 7.7) 0.09 .762
Female 60(90.9) 72(92.3)
The motivation for admission to nursing To get a job 38(57.6) 46(58.9) 4.68 .094
Other choice 23(34.8) 25(32.1)
Self choice 5( 7.6) 7( 9.0)
Satisfaction with major High 5( 7.6) 13(16.7) 2.01 .569
Medium 34(51.5) 42(53.8)
Low 27(40.9) 23(29.5)
Accumulated last semester grade 4.00-4.50 31(46.9) 28(35.9) 4.91 .178
3.51-3.99 22(33.3) 38(48.7)
3.00-3.50 12(18.2) 10(12.8)
≤2.51 1( 1.6) 2( 2.6)

루브릭 제시와 학업성취도

시뮬레이션 교육에서 루브릭을 제시한 실험군과 제시하지 않은 대조군의 학업성취도 점수를 분석한 결과, 두 군 간에 간호수행능력평가 점수와 지필평가 점수를 합산한 학업성취도 점수는 실험군 90.53점, 대조군 87.45점으로 통계적으로 유의하게 실험군이 대조군보다 높았다(t=11.00, p<.001)(Table 4).
<Table 4>

Comparison of Academic Achievement

Variables Experimental group
(n=66)
Control group
(n=78)
t p
Mean±SD Mean±SD
Academy achievement 90.53±9.99 87.45±3.10 11.00 <.001
Nursing competence 55.45±2.54 50.27±1.78 7.52 .032
Knowledge 38.20±5.83 35.85±4.22 2.72 .007
구체적으로 살펴보면, 간호수행능력평가 점수는 실험군 55.45점, 대조군 50.27점으로 실험군이 대조군보다 통계적으로 유의하게 높았고(t=7.52, p=.032), 지필평가 점수도 실험군 38.20점, 대조군 35.85점으로 실험군이 대조군보다 통계적으로 유의하게 높았다(t=2.72, p=.007).

논 의

본 연구는 시뮬레이션 교육을 위한 루브릭을 개발하여 간호학생들의 학업성취도에 미치는 효과를 파악하고, 이를 통해 향후 시뮬레이션 교육의 학습성과를 증진시킬 수 있는 루브릭 개발을 위한 기초자료를 제공하고자 하였다.
루브릭의 개발은 Goodrich (1996)가 제시한 루브릭 개발 절차를 참고하였고, 루브릭을 통해 간호학생들은 시뮬레이션 교육과정 안에서 간호지식과 간호수행능력을 효과적으로 습득하고 학습과정과 학습수준에 대한 자기점검을 통해 학업성취도를 향상시키고자 하였다. 이를 위해 루브릭의 개발과 적용 과정에서 학습자 중심의 교육활동과 피드백이 활발하게 일어나도록 노력하였다. Arter와 Mctighe (2001)의 연구에 근거하여 루브릭의 개발 과정에서 본 연구자는 전문가 집단과 학생들이 참여하게 함으로써 루브릭의 진술문들을 보다 분명하게 설정할 수 있었고 시뮬레이션 교육과정에서 학생들이 중요하게 생각해야 할 점을 명확하게 진술할 수 있었으며 학생들의 관점에서 가능한 수행수준을 인식할 수 있었다. 이는 시뮬레이션 교육에 대한 교수자와 학습자의 인식의 차이를 줄여 교수자의 일방적인 수업진행이 아닌 쌍방향 수업이 진행되도록 하였으며 실험군의 수업이 진행되었을 때 전체 모든 학생들이 루브릭의 체계에 이의를 제기하지 않고 적극적으로 수업에 참여하는데 매우 도움이 되었다. 이에 교과목을 운영하기에 앞서 루브릭 뿐만 아니라 수업계획서에도 학생이나 전문가의 의견을 반영한다면 학생들의 수업만족도, 수업몰입, 학업성취도 향상에 도움이 될 것이라 사료된다. 간호학 교과목과 관련되어 개발된 루브릭이 거의 개발되어 있지 않았으므로 본 연구자는 학생과 전문가들에게 2번에 걸쳐 타당도를 받는 과정이 필요했다. 이에 시뮬레이션 교과목 이외에도 다양한 영역의 루브릭을 개발하고자 한다면 개발된 루브릭이 부족하다는 것을 고려하여 시간이 소요되더라도 2번 이상의 타당도 검증을 받아 객관성을 확보하는 것이 필요할 것이다.
루브릭을 제시한 시뮬레이션 교육은 간호학생들의 학업성취도 향상에 유의미한 영향을 주는 것으로 나타났다. 이는 루브릭을 활용한 교육활동이 학업성취도의 향상에 긍정적인 효과가 있다고 보고한 선행연구와 일치한다(Kong, 2006; Moskal, 2000). 시뮬레이션 교육은 간호학생들에게 익숙하지 않은 교수학습전략으로 학생들이 적응하는데 시간이 걸리고 학습방법과 학업성취에 혼란을 느끼게 되는데(Kim, 2012) 학습방향이 구체적으로 진술된 루브릭의 제시가 이를 해결하는 데 도움을 준 것으로 사료된다. 루브릭을 통해 학생들은 주어진 수행준거와 수행수준를 지속적으로 자신에게 빗대어 성찰하게 됨으로써 학습성과에 대한 성취수준을 모니터링하고 개선하도록 노력하게 된다. 여러 선행연구(Kim & Lee, 2003; Nam & Choi, 2005)의 결과와 같이 본 연구과정에서 이루어진 루브릭을 활용한 학생들의 지속적인 자기평가 혹은 자기성찰 과정은 자기주도적 학습태도를 향상시켰으며 학습활동을 스스로 선택하고 자신의 시간과 자원을 어떻게 이용할 것인가에 대한 계획을 세워 학습을 통제할 수 있도록 한 것으로 보이며 이를 통해 학습동기도 증진된 것이라 생각된다. 특히 루브릭에 의한 자기평가는 학생이 평가의 주체가 되어 루브릭에 기술된 각 수행수준에 대하여 자신이 목표로 한 수준에 도달되었는지 확인할 수 있게 하여 보다 적극적으로 학습에 참여하게 되고 학습자 자신에게 부족한 요소까지 포함한 자기지향적 피드백을 제공해 주는 것으로 보인다.
루브릭을 통한 피드백은 학습자 개인뿐만 아니라 팀 내에서도 일어났다. 시뮬레이션 실습에서 중요한 요소는 팀활동인데 대부분의 학생들은 낯선 시뮬레이션 환경 때문에 오리엔테이션 후에도 쉽게 적응하지 못해 팀활동이 지연되기 쉽다(Kim, 2012). 팀활동의 지연은 학습자의 수업몰입을 어렵게 하고 팀 상호작용을 축소시키며 학습목표 달성을 지연시키게 된다(Grady & Pharm, 2011). 이러한 이유로 수업 시작 시점에서 루브릭을 통해 대조군보다 학습목표를 일찍 파악할 수 있었던 실험군의 경우 다수의 팀들이 팀 구성원 중 수행수준이 부족한 학생을 중심으로 피드백을 집중하여 팀 구성원 전체가 중·상 단계의 수행수준을 성취하는 것을 볼 수 있었다. 이에 시뮬레이션 교과목뿐만 아니라 암기량이 많은 이론 교과목에서 학습팀을 구성하여 루브릭을 활용해 수업을 진행시켜 보는 것은 기존의 강의식 수업보다 학업성취도 향상에 더욱 효과적일 것이다.
교수자의 입장에서 루브릭을 통해 상세하게 기술한 수행준거와 수행수준을 통해 학습자의 학습과정과 향상을 객관적으로 평가할 수 있게 하고 학습자의 수행 정도에 따라 동일한 점수일지라도 각각 다르지만 일관성 있는 피드백을 줄 수 있다(Han & Lee, 2005). 본 연구 과정에서 연구자는 루브릭을 통해 학생의 수행수준이 어느 수준에 해당되는가를 알 수 있어 학생의 학습수준 상태, 성취수준의 결정, 학습방법의 방향을 제공해 줄 수 있었다. 루브릭이 가진 큰 장점은 학습자의 수행과정에 대해 명확하게 제시된 평가준거와 수행수준에 대한 상세한 지표를 통해 학습결과를 객관적으로 평가할 수 있게 해준다는 점이다(Crawford, 2001). 결국 시뮬레이션 교육의 목표로 정한 학습성과를 성취하기 위해 객관적 평가도구인 루브릭을 활용함으로써 교수와 학생은 상호협력 할 수 있었고 학생은 교수를 신뢰할 수 있었으며 이를 통해 교수도 소신을 갖고 교육과정을 운영할 수 있었다. 또한 수업에 대해 개선점을 찾거나 반성할 수 있었고 최적의 학습이 가능한 시뮬레이션 교육의 조건을 파악하게 되는 기회가 되었다. 이와 같이 교과목 운영에 있어 루브릭을 활용해 보는 것은 신임 또는 경력이 짧은 교수들이 수업 운영과 평가, 학생들과의 관계에 어려움을 겪고 있을 때 도움을 줄 것이라 사료된다.

결론 및 제언

본 연구는 시뮬레이션 교육을 위한 루브릭을 개발하고, 개발된 루브릭 제시가 간호학생의 학업성취도에 미치는 효과를 규명하기 위해 시도되었다. 연구결과 시뮬레이션 교육에서 루브릭 제시는 간호학생의 간호수행능력과 지식향상에 유의한 도움을 주어 결국 학업성취도를 증진시켜 주는 것으로 나타났다.
최근 간호학 전공 학생들의 학습성과 향상을 위한 전략으로 루브릭 활용의 중요성이 증가됨에 따라 본 연구와 같은 결과는 의미가 있다. 시뮬레이션 교과목에 대한 구체적인 학습방향을 제시해 주는 루브릭은 간호학생들이 낯선 시뮬레이션 교육환경에 더 빨리 적응하고 시나리오와 관련된 간호학적 내용을 체계적으로 학습하는데 유용한 도구임을 확인할 수 있었다. 이에 성인간호학뿐만 아니라 아동간호학, 모성간호학 등 시뮬레이션 교육의 더 많은 영역에서 타당도와 신뢰도가 높은 루브릭이 개발되어야 하며 개발된 루브릭의 효과를 명확히 하여 시뮬레이션 교과목 관련 루브릭의 표준화를 마련할 필요가 있으리라 사료된다.

Acknowledgements

This study was supported by the research fund of Honam University in 2012.
이 논문은 2012년도 호남대학교 학술연구비 지원을 받아 연구되었음.

References

Adams, B. L. Nursing education for critical thinking: An integrative review. Journal of Nursing Education, (1999). 38(3):111-119.

Andrade, H, Du, Y. Student perspectives on rubric-referenced assessment. Practical Assessment, Research & Evaluation, (2005). 10(3):1-11.

Arter, J, Mctighe, J. Scoring rubrics in the classroom; using performance criteria for assessing and improving student performance. housand Oaks, CA: Corwin Press, Inc, (2001.

Ary, D, Jacobs, L. C, Razavieh, A. Introduction to research in education (6th ed.). Belmont, CA: Wadsworth Thompson Learning, (2002.

Barkley, E, Cross, P, Major, C. Collaborative learning techniques: A handbook for college faculty. San Francisco: Jossey-Bass, (2005.

Cooper, J. B, Taqueti, V. RA brief history of the development of mannequin simulators for clinical education and trainingQuality & safety in Health Care(200813(1i11-i18
crossref
Crawford, C. M. Rubrics: models of evaluation within a constructivist learning environment. Paper presented at annual national council of teachers of english spring conference, ERIC document reproduction service No. ED462910, (2001.

Decker, S, Sportsman, S, Puetz, L, Billings, L. The evolution of simulation and its contribution to competency. Journal of Continuing Education in Nursing, (2008). 38(2):74-80.

Garrett, B, MacPhee, M, Jackson, C. High-fidelity patient simulation: considerations for effective learning. Nursing Education Perspectives, (2010). 31(5):309-313.

Goodrich, H. Student self-assessment: At the intersection of metacognition and authentic assessment. Unpublished doctoral dissertation, Harvard University, Cambridge, UK, (1996.

Goodrich, H. Using rubrics to promote thinking and learning. Educational Leadership, (2000). 57(5):13-18.

Grady, S. E, Pharm, DTeam based learning in pharmacotherapeuticsAmerican Journal of Pharmaceutical Education(201175(7136
crossref
Han, J. Y, Lee, Y. H. The outcome based assessment in engineering education and liberal education. Journal of Korean Practical Arts Education, (2005). 18(1):33-49.

Jo, H. S, Lee, C. S. The effects on student-based rubric's achievement of performance assessment in the woodworking unit. Journal of Korean Practical Arts Education, (2011). 17(1):99-116.

Kang, H. Y, Choi, E. Y, Kim, H. RNursing student's experiences in team based simulation learningJournal of Korean Academic Society of Nursing Education(201319(15-15
crossref
Kim, M. H, Kim, M. S, Chae, S. W, Kim, Y. S. Relationship of nursing informatics competency and self-leadership among hospital nurses. The Journal of Korean Nursing Administration Academic Society, (2007). 13(2):176-183.

Kim, M. W. Development of objectives of nursing clinical education, based on the nursing core competency. Unpublished doctoral dissertation, Yonsei University, Seoul, (2004.

Kim, H. D, Jhee, I. Y. The outcome based assessment in engineering education and liberal education. Korean Journal of General Education, (2009). 3(1):89-103.

Kim, H. R. Development and effects of team based simulation learning program for undergraduate nursing students. Unpublished doctoral dissertation, Chosun University, Gwangju, (2012.

Kim, H. R, Choi, E. Y, Kang, H. Y. Simulation module development and team competency evaluation. Journal of Korean Academy of Fundamentals of Nursing, (2010). 18(3):392-400.

Kim, M. K, Lee, K. H. The effect of self-regulated learning strategy on academic achievements and psychological characteristics. The Korean Journal of Counseling and Psychotherapy, (2003). 15(3):491-504.

Kong, J. S. Effect of learner-developed rubric on English speaking in elementary classroom. Unpublished master's thesis, Kongju University, Kongju, (2006.

Lane, K, Graham, S, Harris, K, Weisenbach, J. Teaching writing strategies to young students struggling with writing and at risk for behavioral disorders: Self-regulated strategy development. Teaching Exceptional Children, (2006). 39(1):60-64.

Lee, J. H. Influence of performance assessment using student-generated rubrics on academic achievement and learning motivation. Unpublished master's thesis, Korea National University of Education, Cheongwon-gun, (2006.

Lundberg, G. Student-generated assessment. The Science Teacher, (1997). 64(1):50-53.

Michaelsen, L. Getting started with team-based learning. In L. Michaelsen, A. Knight, & L. Fink (Eds.). Team-based learning: A transformative use of small groups in college teaching, (2002). 27-50. Sterling, VA: Stylus Publishing.

Moskal, B. M. Scoring rubrics: What, When and How? Practical Assessment, Research & Evaluation, (2000). 7(3.

Nam, S. K, Choi, W. S. Effects of analytic rubrics on learners` self-directed learning ability in information technology unit assessment. Journal of Korean Industrial Education Association, (2005). 30(1):56-67.

Nott, L, Reeve, C, Reeve, R. Scoring rubrics: An assessment option. Science Scope, (1992). 15(6):44-45.

Park, S. H, Choi, M. N, Lee, S. K. A study on effects of well-structured cognitive reflection journal on metacognition and learning achievement. Journal of Engineering Education Research, (2008). 11(1):5-13.



ABOUT
BROWSE ARTICLES
FOR CONTRIBUTORS
Editorial Office
Department of Nursing, Chungbuk National University
1 Chungdae-ro, Seowon-gu, Cheongju-si, Chungcheongbuk-do, 28644, Korea
Tel: +82-43-249-1712    E-mail: spark2020@chungbuk.ac.kr                

Copyright © 2024 by The Korean Academic Society of Nursing Education.

Developed in M2PI

Close layer
prev next