술기 수행에서 간호대학생의 동료피드백 유형 및 동료피드백에 대한 정서반응, 피드백의 질, 학습자기효능감
Nursing Students' Peer Feedback Types and Emotional Response, Quality of Feedback, and Self-efficacy for Learning from Peer Feedback in Skill Training
Article information
Trans Abstract
Purpose
This study was conducted to identify types of peer feedback in nursing skills performance training and to investigate emotional response, perceived quality of feedback and self-efficacy for learning from peer feedback.
Methods
A total of 110 second-year nursing students attending fundamentals of nursing classes at a university participated in 2017. Participants received peer feedback from one selected colleague who observed their skills performance, and completed a questionnaire. Contents of peer feedback video recordings were transcribed and classified into seven types of feedback. Data were analyzed using an independent t-test, ANOVA and Pearson correlation.
Results
Participants mostly received feedback of ‘correcting’ and ‘providing information.’ Positive emotional responses from peer feedback were above medium, and negative emotional responses were low. The perceived quality of peer feedback was moderate and self-efficacy for learning was high. Quality of feedback correlated with negative emotional response (r=-.24, p=.014), and self-efficacy for learning (r=.35, p<.001). Self-efficacy for learning correlated with intimacy with peers (r=.24, p=.011) and positive emotional response (r=.21, p=.028).
Conclusion
The results suggest that peer feedback in skill training could be used in terms of emotional response and self-efficacy for learning.
서 론
연구의 필요성
단순히 지식과 정보를 전달받는 교수자 중심 교육에서 스스로 정보를 찾고 관리, 공유하며 이를 바탕으로 새로운 지식을 창출하는 학습자 중심 교육으로 전환되면서 학습의 과정이나 결과에 대한 지속적인 피드백이 강조되고 있다(Boud & Falchikov, 2007). 이에 따라, 국외 주요 의료 교육 영역에서 학생들이 자신의 부족한 부분과 잘못된 부분을 이해하고 교정할 수 있도록 학교 및 임상실습에서 정기적 피드백 제공을 평가 기준으로 제시하고 있다(Liaison Committee on Medical Education, 2016). 숙련된 술기의 습득을 위해서는 구체적인 행위로 능숙해질 때까지 반복적으로 연습을 하게 되는데, 그 과정에서 학생들은 피드백을 통해 자신의 수행 수준에 대한 정보를 얻어서 수행 향상 및 개선을 위해 연습을 하게 된다. 피드백이 없다면 실수는 그대로 반복되어 좋은 수행이 강화되기가 어려울 것이다(Vanyolos et al., 2017).
전통적으로 학습과정 및 결과에 대한 피드백은 주로 교수자가 제공해왔으나 다양한 관점에서 과제를 이해함으로써 과제의 개선이 가능한 영역에서는 동료학습자의 피드백이 활용되고 있다(Kim, 2011). 교수자 주도의 피드백은 지식과 경험이 풍부한 교수자의 기대와 학생들의 기대의 차이가 있는 가운데 학습자의 이해수준을 고려하지 않아 비효과적일 수 있다(Thomas & Arnold, 2011). 그에 비하여, 동료피드백은 자신과 유사한 위치에 있는 동료가 정보를 제공하기 때문에 이해가 잘되고 동료의 학습결과에 대해 분석하고 이에 적절한 의견을 제시할 수 있어 학습자 중심의 교수-학습 전략이라 할 수 있다(Wilkins, Shin, & Ainsworth, 2009). 또한 동료로부터 새로운 아이디어를 얻을 수 있으며(Lee, 2012), 학생들이 수동적으로 피드백을 받기만 하는 것이 아니라 직접 피드백을 해보면서 능동적으로 학습활동에 참여하게 되고 그 과정에서 자신의 수행에 대한 성찰이 일어나게 된다(Lee, 2014; Park & Shin, 2015). 동료피드백의 제공자 및 수용자 측면에서 동료피드백 사용의 장점으로는 동료피드백이 학습에 대한 자기주도성과 책임감을 향상시키고(Kim, 2011), 장·단점, 개선점 등을 인지하고 반복학습이 이루어져 자기 교정이 된다고 하였다(Park & Shin, 2015). 특히, 간호학에서 동료피드백은 학습자의 이해력을 높이고 기억을 강화시켜 임상실습에서 성공적으로 간호를 수행할 수 있게 하여, 결과적으로 술기 역량을 향상시킬 수 있는 효과적인 방법으로 활용되고 있다(Lee & Shin, 2016; Park & Shin, 2015).
동료피드백의 한계점도 제시되고 있는데 형식적으로 피드백을 주거나 표면적인 부분에만 집중될 수 있고(Kim, 2011; Lee, 2012; Lee, 2014) 학습자의 의도를 피드백 제공자가 제대로 이해하지 못할 수도 있으며(Lee, 2012), 정확성에 대한 신뢰부족으로 피드백에 대한 수용도가 떨어질 수 있다(Cheon, 2013)는 점이다. 하지만 피드백의 정확성과 타당성, 두 가지를 비교해 볼 때, 정확한 피드백보다는 피드백에 대한 근거를 잘 설명하는 타당한 피드백이 학생의 학습 향상에 더 큰 영향을 미치기 때문에(Gielen, Peeters, Dochy, Onghena, & Stuyven, 2010) 비록 동료피드백이 교수피드백보다 정확성이 부족할지라도 피드백이 충분히 타당하다면 학업 성과에도 영향을 줄 수 있는 것으로 보고 있다.
피드백은 정서반응을 유발하여 개인의 자기조절, 태도, 동기에 영향을 미치는 정서적 사건이다(Ilies, De Pater, & Jude, 2007). 즉, 정서적 과정을 통해 피드백을 해석하고, 이는 태도와 수행 의도에 영향을 미칠 수 있기 때문에(Ilies et al., 2007) 목표 달성과 관련된 피드백에서 정서반응을 고려해야 한다는 필요성이 제기되고 있다. 선행연구에 의하면, 피드백에 따라 개인의 성취, 장점을 포함하는 칭찬하는 내용의 피드백은 학습자의 행복감, 만족감을 불러일으키지만 개인의 오류 및 단점에 대해 비판, 교정하는 내용의 피드백은 불안, 스트레스와 같은 부정적인 정서를 유발하게 된다(Van-Dijk & Kluger, 2004). 긍정적인 피드백은 동기 향상 및 자존감을 고양시키는데 효과적이고 과제의 질 향상에 가장 유의한 영향을 주는 반면, 부정적인 피드백은 동기를 감소시키고 그에 따라 만족감과 자존감을 떨어뜨려 과제 성취에 부정적인 영향을 주는 것으로 알려져 있다(Lee, 2015; Plakht, Shiyovich, Nusbaum, & Raizer, 2013). 질 높은 피드백을 받아도 부정적인 감정을 느낀다면 받은 피드백을 무시하게 되어 학습의 질 향상이 어려운 반면, 학생이 긍정적인 감정을 느끼고 피드백에 대해 유익하다고 느낀다면 학습 성과에 긍정적인 영향을 줄 수 있다(Lee, 2015). 이와 같이, 피드백은 학습자의 정서와 감정에 영향을 주고 이에 따라 학습자의 학습동기인 자기효능감 및 과제 수행 성취도가 달라질 수 있다(Lee, 2009; Ilies et al., 2007). 하지만, 지금까지 기술적 술기 훈련에서 피드백은 수행능력의 향상을 목적으로 부족한 점을 교정하는 것에 주로 관심을 두고 학습자의 정서반응 및 학습동기를 고려하지 않았다. 기술적 술기 훈련과정에 참여하는 학생들의 학습 성과를 위해 보다 효과적인 피드백 방법이 요구되는 가운데 실제 학생들이 제공하는 피드백의 유형 및 동료피드백에 대한 학습자의 반응에 대한 실증적 연구는 미흡한 실정이다.
이에 본 연구는 간호학생들이 간호술기 수행에서 주로 어떤 유형의 동료피드백을 사용하는지 알아보고, 제공받은 동료피드백에 대한 학습자의 정서반응, 피드백의 질, 학습자기효능감 수준 및 이러한 변수들 간의 관련성을 확인해 봄으로써 동료피드백이 실제 간호교육현장에서 보다 효과적으로 활용될 수 있는 방안을 모색해보고자 시도되었다.
연구 목적
본 연구는 간호 술기 수행에서 사용되는 동료 피드백의 유형을 알아보고, 동료피드백에 대해 학습자가 인지하는 정서반응, 피드백의 질, 학습자기효능감의 수준 및 이들 변수들 간의 관련성을 확인해보고자 하였으며 구체적인 목적은 다음과 같다.
∙ 대상자의 간호 술기 수행에서 사용하는 동료 피드백의 유형 및 빈도수를 확인한다.
∙ 대상자의 동료 피드백에 대한 정서반응, 피드백의 질, 학습자기효능감을 확인한다.
∙ 일반적인 특성에 따른 동료 피드백에 대한 정서반응, 피드백의 질, 학습자기효능감의 차이를 확인한다.
∙ 대상자의 동료친밀도, 정서반응, 피드백의 질, 학습자기효능감 간의 상관관계를 확인한다.
연구 방법
연구 설계
본 연구는 간호대학생들이 간호 술기 수행에서 사용하는 동료피드백의 유형을 알아보고, 제공받은 동료피드백에 대한 정서반응, 인지하는 동료 피드백의 질, 학습자기효능감을 확인하는 서술적 조사 연구이다.
연구 대상
대상자 수는 G power 3.1.10 프로그램을 이용하여 주요 분석방법을 상관관계분석으로 하고 유의수준 .05, 검정력 80%, 중간효과크기 0.3으로 했을 때 84명이 산출되었다. 동일한 조건에서 자료 수집을 하기 위하여 일 대학의 간호학과 기본간호학 실습을 수강하는 2학년 111명 중 연구 참여에 동의한 자를 대상으로 하였다. 111명 모두 연구 참여에 동의하였으며 연구기간 중 1명이 탈락하여 최종 대상자는 110명이었다.
연구 도구
일반적 특성으로 성별, 연령, 전공 선택의 만족도, 지난 학기의 성적을 측정하였다. 추가로 피드백을 제공한 동료에 대한 친밀도가 피드백에 대한 반응에 영향을 줄 수 있다고 판단되어 측정하였다. 동료친밀도는 대상자가 피드백을 제공한 동료에게 느끼는 친밀한 정도를 10점 척도(1=전혀 친하지 않음, 10=매우 친함)로 조사하였다.
● 동료피드백의 유형
본 연구에서는 선행연구들(Kim, 2014; Lee, 2008; Seo & Jeon, 2012)을 참고하여 7개의 피드백 유형으로 구분되는 분류 틀을 작성하였다. Lee (2008)는 긍정평가와 피드백, 평가와 유보, 교정 피드백, 부정평가와 피드백 등의 범주 아래 17개의 구체적인 피드백유형을 구분하였다. Seo와 Jeon (2012)은 피드백의 발화 내용에 따라 단순 소감형, 오류 지적형, 논평형, 대안 제시형, 질문형으로 구분하였고, Kim (2014)은 관계 형성과 학습 촉진의 2가지의 목적과 동기부여, 상호작용 촉진, 수행 점검, 의미 구성 및 문제 해결 촉진의 4가지 기능에 따라 칭찬하기, 격려하기, 확장하기, 응답하기, 확인하기, 수정하기, 초점화하기, 질문 반복하기, 입증하기, 명료화하기, 정보제공하기로 피드백을 분류하고 있다. 본 연구에서는 단순술기 수행에서 이루어지는 피드백의 내용에 중점을 두고 상기 문헌의 피드백 유형들을 비교하면서 상호배타적인 7개의 범주로 구성한 후, 의사소통 행위를 분석한 경험이 있는 간호학교수 및 질적 연구를 수행하는 간호학 교수로부터 타당성을 확인받았다.
이상의 과정을 거쳐 작성된 7개 피드백 유형에 대한 설명은 다음과 같다. ‘칭찬하기’는 학습자의 적절한 수행에 대해 “좋다”, “잘했어요”, “훌륭해요” 등의 긍정적 표현을 사용하여 평가하는 피드백 유형이다. ‘격려하기’는 학습자의 수행 적절성과 상관없이 학습자의 좌절감 감소를 위해 수행 자체에 긍정적인 의미를 부여하고 학습에 지속적으로 참여할 수 있도록 용기나 의욕을 북돋우는 내용으로 예를 들어, “더 잘하실 거예요”, “다음 기회를 기대할게요”, “수고했어요” 등의 피드백을 포함한다. ‘부정하기’는 학생들의 수행이 부적절한 경우 꾸중이나 비난 방식으로 수행이 부정하고 정확하지 않음을 알리는 것이다. 예를 들어 “틀렸잖아요”, “굉장히 큰 실수였어요”, “엉망이에요” 등의 표현이다. ‘교정하기’는 학습자의 수행에서 오류가 확인되었을 때 잘못되었거나 고쳐야 할 부분, 부족한 점을 직접적으로 제시하는 피드백으로 예를 들면, “∼을 안 했어요”, “∼하면 안 돼요” 등의 표현이 포함된다. ‘단순 소감형’은 “순서는 다 맞아요”, “완전 수행했습니다”, “괜찮아요”, 등의 표현으로 학습자의 수행에 대해 전반적인 소감을 말하고 사실적으로 묘사한 내용도 단순 소감형으로 구분하였다. ‘정보제공하기’는 학습자 수행에 대해 적절성 여부를 판정하여 정확한 답을 제시하고 그와 관련된 설명을 제공하는 것이다. ‘질문하기’는 학습자의 수행이 올바르지 않거나 정확하지 않은 경우 본인에게 질문을 하여 학습자 스스로 오류를 인지하도록 하는 피드백이다.
● 정서반응
학생들이 동료피드백을 받으면서 실제로 느낀 정서적 감정반응을 Warr (2007)의 정서반응 도구를 Choi (2015)가 수정한 도구를 사용하였다. 긍정적 정서 6문항(놀라운, 기분 좋은, 기쁜, 만족스러운, 편안한, 이완된)과 부정적 정서 6문항(불만스러운, 불안한, 긴장된, 슬픈, 낙심한, 지루한)으로 총 12문항으로 구성되어 있다. Likert식 5점 척도(1점=전혀 아니다, 5점=매우 그렇다)로서 각 하위영역의 점수는 해당 정서의 상태를 의미한다. 원 도구에서의 신뢰도는 제시되지 않았으나 문헌고찰 결과 본 도구가 적합하다고 판단되어 사용하였다. 저자에게 도구의 사용 허락을 받았으며 본 연구에서 긍정적 정서 6문항과 부정적 정서 6문항에 대한 Cronbach’s α는 각각 .80이었다.
● 피드백의 질
Kim (2008)의 연구에서 피드백에 대한 만족도와 불만족 정도를 측정한 도구를 중심으로 피드백의 질을 결정하는 요인을 문헌고찰을 통해 확인하여 구성하였다. 본 도구는 간호학교수 3인에게 도구의 타당성을 검토 받은 후 피드백의 공정성과 합리성, 적절성, 수행을 돌아볼 수 있었던 기회, 수행개선에의 도움, 피드백의 모호함, 피드백을 받은 후 자신감, 피드백에 대한 만족감 등의 7개 문항으로 최종 구성되었다. 각 문항은 5점 척도(1점=전혀 아니다, 5점=매우 그렇다)로 최저 7점에서 최고 35점으로 점수가 높을수록 인지하는 피드백의 질이 높음을 의미한다. Kim (2008)연구에서 Cronbach’s α는 .82이었고 본 연구에서의 Cronbach’s α는 .72이었다.
● 학습자기효능감
학습자기효능감은 새롭게 학습한 내용을 활용하고 목표에 도달할 수 있는 자신의 능력에 대한 신념을 말하며, Ayres (2005)가 개발하고 Park과 Kweon (2012)이 번안한 도구를 허락받아 사용하였다. 본 도구는 총 10문항 7점 척도로 구성되어있으나 본 연구에서는 5점 척도(1점=전혀 아니다, 5점=매우 그렇다)로 측정하여 최저 10점에서 최고 50점으로 점수가 높을수록 학습자기효능감이 높음을 의미한다. 원 도구의 신뢰도는 Cronbach’s α는 .97이었고 Park과 Kweon (2012)연구에서 Cronbach’s α는 .95이었고 본 연구에서는 Cronbach’s α는 .92이었다.
자료 수집 방법
자료 수집은 2017년 5월 2일부터 6월 2일까지 총 4주 동안 이루어졌다. 연구의 첫 번째 단계로 기본간호학실습 수업에서 격리실 출입 시 보호 장구 착용과 간헐적 위관영양의 간호술기를 배운 후 학생들에게 일반적 특성에 대해 사전 설문지를 조사하였다. 일개 술기에서의 동료피드백으로 피드백 유형을 확인하기에는 한계가 있을 것이라 생각되어 충분한 자료수집을 위해 2개 술기를 선정하였다. 사전 설문지는 연령, 성별, 간호학 전공만족도, 지난 학기 성적을 포함하였고 소요시간은 5분이었다.
두 번째 단계로 학생들은 수업시간 외에 자율적으로 동료와 함께 간호술기 연습(격리실 출입 시 보호 장구 착용, 간헐적 위관영양 2가지)을 하였고, 충분한 연습 후에 연구자의 간섭 없이 학생이 자율적으로 피드백을 주는 동료를 1명 선정하여 동료로부터 간호술기 수행을 평가받도록 하였다. 정해진 시간 내에 학습자는 간호술기를 수행하고 동료는 핵심기본간호술 프로토콜에 따라 학습자의 술기를 관찰하고 수행이 끝난 후에 피드백을 주도록 하였다. 이 때 수행 중간에 피드백을 주면 학습자의 술기 수행의 흐름이 방해될 수 있기 때문에 수행 중에는 피드백을 주지 못하게 하였다. 학습자의 간호술기 수행과 제공받은 피드백의 내용을 확인하기 위해서 간호술기를 시작하는 모습부터 수행이 끝난 후 동료에게 피드백을 받는 모습까지 전체 과정을 스마트폰을 이용하여 동영상으로 촬영하였다.
세 번째 단계는 간호술기 수행과 동료피드백 제공이 끝난 후 학습자로부터 피드백을 준 동료와의 친밀도, 피드백을 받은 후 인지하는 정서반응, 동료피드백의 질, 학습자기효능감에 대한 사후 설문지를 조사하였다.
연구의 윤리적 고려
연구대상자의 보호를 위하여 일 대학교 생명윤리심의위원회의 승인(IRB No. HIRB-2017-023)을 받았고 대상자에게 연구의 목적을 설명하였다. 연구의 참여 여부는 자발적이며 원하는 경우 언제든지 철회할 수 있고 그로 인한 불이익이 없다는 것을 설명하였다. 또한 연구 이외의 목적으로 사용하지 않을 것임을 설명하였다. 특히, 성적에 반영하지 않음을 구두와 서면으로 설명하였다. 학생이 연구에 동의한 경우 직접 설문지를 읽고 응답하도록 하고 연구에 대한 서면동의서를 받았다.
자료 분석 방법
연구대상자의 일반적 특성은 기술통계를 이용하여 분석하였다. 동료피드백의 유형을 구분하기 위해 수집된 동영상을 보면서 동료피드백 내용을 모두 전사하였다. 그 후 연구자 1인이 분석단위를 의미단위로 하여 미리 개발된 분석틀에 따라 전사한 피드백 내용을 코딩하였다. 의미단위란 하나의 글 중에서도 글의 의미가 달라지면 이를 구분하여 각각을 분석의 대상으로 하는 것을 말한다(Kim, 2011). 보통은 한 문장을 하나의 의미단위로 코딩하였으나 한 문장에 복수의 의미단위가 있는 경우에는 복수의 피드백으로 코딩하였다. 분류의 신뢰도를 높이고자 분류 초기에 코딩 결과 일부를 가지고 상호작용 행위를 분석한 경험이 있는 간호학 교수 1인과 논의하였으며 그 후에는 연구자 1인이 수차례 반복적으로 읽으면서 재분류하는 과정을 거쳤다. 동료피드백의 유형별 빈도는 기술통계를 이용하여 분석하였다. 동료피드백에 대한 정서반응, 피드백의 질, 학습자기효능감은 기술통계를 이용하였다. 일반적 특성에 따른 동료피드백에 대한 변수들의 차이를 확인하기 위해 independent t-test와 one-way ANOVA를, 사후검정은 Scheffe test를 이용하여 분석하였다. 주요 변수들 간의 상관분석은 Pearson correlation coefficient를 이용하여 분석하였다. 수집된 자료의 분석은 SPSS 23.0 program을 이용하였으며 유의수준은 .05로 하였다.
연구 결과
대상자의 일반적 특성
대상자의 연령 범위는 19세에서 25세로 평균 20.05±1.18세이고 성별은 여성이 95명(86.4%), 남성이 15명(13.6%)이었다. 대상자의 간호학전공 만족도는 ‘만족’ 82명(74.5%), ‘보통’ 22명(20.0%), ‘불만족’ 6명(5.5%)으로 나타났다. 지난 학기 성적은 학점이 ‘4.0점 이상’ 23명(20.9%), ‘3.5∼3.9점’ 53명(48.2%), ‘3.5점 미만’ 34명(30.9%)이었다. 피드백을 받는 대상자가 느끼는 동료 평가자에 대한 친밀도는 최저 5점에서 최고 10점으로 평균 8.87±1.25점이었다(Table 1).
General Characteristics of Participants and Frequencies of Peer Feedback Provided
(N=110)
동료피드백의 유형 및 빈도
동료피드백의 평균 빈도수와 피드백 유형별 빈도수에 대한 결과는 다음과 같다.
격리실 출입 시 보호 장구 착용 술기 수행 후 동료피드백의 개수는 총 401개로 1인당 3.65±1.82개의 피드백을 제공 받았으며, 최소 1개에서 최대 10개의 범위이었다. 간헐적 위관영양 술기 수행 후 동료피드백은 총 386개로 1인당 평균 3.51±1.57개로 최소 1개에서 최대 12개의 피드백을 제공받았다(Table 1).
격리실 출입 시 보호 장구 착용의 술기 수행에서 동료가 제공한 피드백의 유형별 빈도수는 ‘교정하기’가 154개(38.4%)로 가장 많았고 다음으로는 ‘정보제공하기’ 107개(26.7%), ‘칭찬하기’ 78개(19.5%), ‘격려하기’ 24개(6.0%), ‘단순소감 말하기’ 13개(3.2%), ‘부정하기’ 13개(3.2%), ‘질문하기’ 12개(3.0%)의 순이었다(Table 2).
Frequencies by Types of Peer Feedback in Nursing Skill Performance
간헐적 위관영양의 술기 수행에서 동료가 사용한 피드백의 유형별 빈도수 또한 ‘교정하기’가 169개(43.8%)로 가장 많았으며 다음으로는 ‘정보제공하기’ 96개(24.9%), ‘칭찬하기’가 65개(16.8%), ‘격려하기’가 23개(6.0%), ‘단순소감 말하기’ 19개(4.9%), ‘질문하기’ 9개(2.3%), ‘부정하기’ 5개(1.3%)의 순이었다(Table 2).
동료피드백에 대한 정서반응, 피드백의 질, 학습자기효능감
동료피드백을 받은 후 대상자의 긍정적 정서는 평균 3.02±0.76점, 부정적 정서는 평균 1.81±0.66점이었다. 대상자가 인지하는 동료피드백의 질은 평균 4.27±0.47점이었고 학습자기효능감은 평균 4.25±0.44점으로 나타났다(Table 3).
Emotional Response, Quality of Feedback and Self-efficacy for Learning after Receiving Peer Feedback
(N=110)
일반적 특성에 따른 동료피드백에 대한 정서반응, 피드백의 질, 학습자기효능감
성별에 따른 긍정적 정서반응(t=0.14, p=.886), 부정적 정서반응(t=1.13, p=.275), 학습자기효능감(t=-1.09, p=.277)의 차이는 없었으나 인지하는 동료피드백의 질에서 유의한 차이가 있었으며(t=-2.33, p=.022) 여학생이 남학생보다 동료피드백의 질을 높게 인지하고 있었다.
전공만족도에 따른 긍정적 정서반응(F=0.78, p=.463), 부정적 정서반응(F=1.25, p=.275), 학습자기효능감(F=2.36, p=.099)의 차이는 없었다. 인지하는 피드백의 질은 전공에 만족하는 집단이 4.31±0.43점으로 가장 높았고 보통인 집단은 4.21±0.56점, 전공에 불만족하는 집단이 인지하는 피드백의 질은 3.81±0.39점으로 가장 낮았으며 이는 통계적으로 유의한 차이가 있었다(F=3.58, p=.031). 사후분석 결과, 전공에 만족하는 집단과 전공에 불만족하는 집단 간에 유의한 차이가 있는 것으로 확인되었다.
지난 학기 성적에 따른 긍정적 정서반응(F=2.86, p=.062), 부정적 정서반응(F=2.46, p=.091), 피드백의 질(F=0.87, p=.421), 학습자기효능감(F=0.34, p=.712)의 차이는 통계적으로 유의하지 않았다(Table 4).
Association of General Characteristics and Emotional Response, Quality of Feedback, and Self-efficacy for Learning
(N=110)
주요변수들 간의 상관관계
학생이 인지하는 피드백의 질은 부정적 정서반응과 유의한 부적의 상관관계가 있었다(r=-.24, p=.014). 학습자기효능감은 동료친밀도(r=.24, p=.011) 및 긍정적 정서(r=.21, p=.028)와 유의한 정적 상관관계가 있었다. 학생이 인지하는 피드백의 질과 학습자기효능감 간에는 통계적으로 유의한 정적 상관관계가 있었다(r=.35, p<.001)(Table 5).
Correlations among Colleague Intimacy, Emotional Responses, Quality of feedback, and Self-efficacy for Learning
(N=110)
논 의
본 연구는 간호학생들이 간호술기 수행에서 사용하는 동료피드백의 유형을 알아보고, 동료피드백을 제공받은 후 이에 대한 정서반응, 피드백의 질, 학습자기효능감을 살펴보고자 하였다.
연구 결과, 동료 피드백의 개수는 술기 별로 평균 3-4개 정도이었으며 최소 1개에서 최대 12개로 개인 편차가 큰 편이었다. 주로 사용한 피드백의 유형은 교정하기와 정보제공하기의 피드백이었으며 다음으로는 칭찬의 피드백의 순이었다. 동료피드백을 연구했던 선행연구에서도 교정하기와 정보제공 등의 피드백이 많은 것으로 나타나 본 연구 결과와 유사하였다. 문제해결학습에서 동료피드백을 연구했던 Lim, Kim, Jin과 Kim (2017)의 연구에서는 해당 동료가 제공하는 피드백의 절반 이상이 단점이나 개선점과 관련된 피드백이었고 Lee (2016)의 연구에서는 정보제공의 피드백이 높은 비중을 차지하고 있었다. 4주 동안 문제해결을 해야 하는 과제수행에서 동료의 피드백 유형을 연구한 Kim (2011)의 연구에서는 수정 또는 개선되어야 하는 점에 대한 정보제공으로 해결책 및 대안제시가 34%로 가장 많았으며 다음으로는 수정 또는 개선되어야 하는 점을 지적하는 문제점 제시의 피드백이 27%, 긍정적인 부분을 칭찬하거나 격려하는 피드백이 26%의 순이었다. 선행연구의 문제해결 과정과 마찬가지로 본 연구의 단순 술기 수행 과정에서도 오류 또는 부족한 부분을 지적하고 관련된 정보를 제공하는 피드백이 특징적임을 확인할 수 있었다. 동료는 비난이나 꾸중 방식의 ‘부정하기’ 피드백을 가장 적게 하였다. 대상자들은 주로 친밀한 동료를 선택하여 그들로부터 피드백을 받았는데 이러한 친밀도가 피드백의 내용에 영향을 주었을 것으로 여겨진다.
동료피드백에서 관찰된 또 하나의 특징은 교정이나 정보의 피드백과 달리 칭찬의 피드백은 구체적으로 잘 한 점을 강화하여 제시하기 보다는 모호하며 상투적인 표현이 많았다는 점이다. 칭찬의 피드백에서는 잘된 점에 대해 왜 잘 되었는지 구체적으로 표현하는 것이 효과적이므로(Seo & Jeon, 2012) 학습자들에게 단순한 칭찬보다는 구체적으로 기울인 노력 또는 수행과정에 대한 칭찬을 할 수 있도록 안내가 있어야 할 것으로 보인다. 한편, 학생들 간에는 질문을 통해 학습자 스스로 답을 찾고 교정이 요구되는 부분을 확인하게 하는 고도의 학습 촉진 방법인 ‘질문하기’ 피드백을 거의 사용하지 않음을 확인할 수 있었다. 이상의 결과에서 나타난 피드백 유형 및 빈도만으로 동료피드백의 의미를 논의하기는 어렵다. 지금까지 학습자의 수행향상에 도움이 되는 피드백 유형에 대한 연구는 주로 긍정적 피드백과 부정적 피드백으로 구분하여 그 효과를 검증하였고 어느 유형의 피드백이 효과적인지는 연구마다 결과에 일관성이 부족한 상황이다(Kim, 2018). 이처럼 피드백의 효과가 다르게 나타난 이유에는 여러 다양한 원인이 있을 수 있겠으나, 다수의 연구(Kim, 2011; Lee & Shin, 2016; Park & Shin, 2015)에서 동료피드백 자체만으로 학습자의 학습과정에 긍정적인 도움이 되는 것으로 제시하고 있다.
동료피드백을 받은 학습자의 반응을 정서적으로나 학습동기 측면에서 볼 때 간호술기 훈련에 동료피드백의 활용이 긍정적 효과를 가져 올 것으로 여겨진다. 우선, 본 연구에서 교정의 피드백이 더 많았음에도 동료피드백에 대한 학생들의 부정적 정서 반응은 적었으며 긍정적 정서는 중간이상이었다. 일반적으로 긍정적 피드백은 긍정적 정서를, 교정 또는 부정적 피드백은 부정적 정서를 증가시키는 것으로 알려져 있다(Ilies et al., 2007). 간호술기 수행의 피드백에 대한 연구에서도 이와 마찬가지로, 교수자로부터 교정의 피드백을 받을 경우에는 학생들의 부정적 정서가 높고 긍정적 정서가 낮게 나타났다(Kim, 2018). 하지만, 본 연구에서 교정의 피드백이 더 많았음에도 피드백에 대한 부정적 정서 반응 점수가 낮은 것으로 볼 때, 학생들은 동료로부터 자신의 오류를 확인하고 부족한 부분을 교정해주는 피드백을 받는 것을 부정적으로 여기고 있지 않다는 것을 유추해 볼 수 있었다. 이에 대해서는 추후 교수자의 피드백과 동료피드백에 따른 정서반응의 차이를 검증해볼 필요가 있다.
본 연구에서 동료피드백을 받은 후 학업성취도의 주요 동기변인인 학습자기효능감이 높게 나타났으며 이러한 결과는 피드백과 학생의 자기효능감 간의 관련이 있다는 선행 연구결과(Yang & Wu, 2013)를 지지하였다. 학습자기효능감은 인지하는 동료피드백의 질과 정적 상관관계가 있는 것으로 나타났다. 이에 술기 훈련 과정에 질 높은 동료피드백을 학습자의 학습자기효능감을 높일 수 있는 학습전략으로 활용하는 것을 고려해볼 수 있겠다.
정서반응과의 관계와 관련해서는, 인지하는 피드백의 질은 피드백에 대한 부정적 피드백과 부적의 상관관계가 있었고 피드백을 받은 후 학생의 학습자기효능감은 긍정적 정서와 정적 상관관계가 있었다. 교수자의 피드백이 정서반응을 유발하여 학습동기에 영향을 미친다는 선행연구(Ilies et al., 2007)와 마찬가지로 동료피드백에서도 학생들이 정서적 과정을 통해 피드백의 질을 해석하고 이는 학습동기인 자기효능감과도 관련이 있는 것으로 여겨진다. 특히, 부정적 정서 반응보다는 긍정적 정서 반응이 학습자기효능감과 관련이 있는 것으로 나타나 선행연구(Kannappan, Yip, Lodhia, Morton, & Lau, 2012)에서 학생들이 교수자의 긍정적 피드백을 수행 동기로 인식했던 것과 마찬가지로 동료 피드백에서도 긍정적 피드백이 학습동기를 유발하는 것으로 여겨진다. 학습자가 피드백을 부정적으로 느끼게 되면 피드백에 대한 수용도가 낮아질 수 있기 때문에(Lim et al., 2017) 부정적인 정서를 유발하지 않는 피드백의 제공이 중요할 것으로 보인다.
또한, 학습자기효능감은 동료친밀도와 관련이 있었다. 동료친밀도와 관련된 선행연구에 의하면 피드백 제공자에 대한 정서적 신뢰가 높을수록 해당 동료가 제공하는 피드백을 더 수용하는 경향이 있으며(Lim et al., 2017) 이에 따라 학습자기효능감에도 긍정적인 영향을 미쳤을 것으로 생각된다. 동료피드백을 제공하는 입장에서도 자신과 친한 동료에게는 더 성실히 피드백을 해 주는 반면, 친하지 않은 경우에는 피드백을 주는 것을 조심스러워 하는 것으로 나타나(Sung & Jung, 2014) 동료피드백에서 피드백의 질과 관계없이 동료와의 관계가 중요함을 확인할 수 있었다.
본 연구에서 성별에 따라 피드백의 질이 유의한 차이를 보여 여성이 남성보다 동료피드백의 질을 높게 생각하고 있었다. 또한 전공에 만족하는 집단이 전공에 불만족하는 집단보다 긍정적 정서, 동료피드백의 질, 학습자기효능감 평균 점수가 높은 경향을 보였다. 이러한 결과는 전공에 만족하는 학생들은 전공과목을 공부하면서 가치, 흥미와 자기 충족감을 느끼고 전공에 대해 불만족하는 학생들은 학습동기 및 학습전략이 떨어진다고 한 선행연구의 결과(Lee, Yoo, Lee, Chon, & Lee, 2014)와 유사한 맥락이다. 특히, 주어진 과제가 본인에게 중요하다고 인식하는 경우 학습자들이 제공하는 동료피드백이 향상되었던 선행연구의 결과(Lee, 2009)와 유사하게 본 연구에서도 전공에 만족하는 학습자들은 더 나은 성과를 얻기 위해 동료피드백을 가치 있는 것으로 평가했을 것으로 여겨진다.
본 연구의 제한점은 다음과 같다. 첫째, 일 대학에서 자료를 수집하여 그 결과를 일반화하기에는 제한이 있다. 둘째, 대상자들이 동영상 촬영을 의식하여 과장되거나 의도적으로 행위를 했을 가능성이 있다. 이러한 영향을 최소로 하기 위해 계속적으로 수행 동영상을 촬영해서 보게 하여 점차로 학생들이 카메라를 의식하지 않도록 하였다. 셋째, 동료 피드백의 정확성을 분석하지 않아서 연구결과를 해석하는데 제한이 있다. 하지만, 술기 프로토콜을 보면서 동료의 행위를 관찰하였기 때문에 잘못된 정보를 주었을 가능성은 적을 것으로 여겨진다. 넷째, 동료 피드백 점수가 성적에 반영된다던가 하는 이해관계가 없기 때문에 큰 영향은 아니지만 학습자가 인지하는 동료친밀도가 동료피드백에 영향을 주었을 뿐만 아니라 역으로 동료피드백이 학습자가 인지하는 동료친밀도에 영향을 미쳤을 가능성이 있다. 다섯째, 동료와의 관계가 학습자가 인지하는 정서반응, 피드백의 질, 학습자기효능감 등의 변수에 영향을 미쳤을 가능성이 있다.
결론 및 제언
본 연구는 간호학생들이 간호술기수행에서 사용하는 동료피드백의 유형을 알아보고, 동료피드백에 대하여 학생이 인지하는 정서적 반응, 피드백의 질, 학습자기효능감의 수준 및 변수들 간의 관계를 알아보기 위한 서술적 조사연구이다.
연구결과, 간호술기 수행에서 ‘교정하기’, ‘정보제공하기’의 피드백을 주로 받았으며 ‘칭찬하기’의 피드백에서는 구체적인 칭찬보다 의례적인 칭찬이 많았다. 또한, 동료피드백은 부정적 정서보다는 긍정적 정서를 유발하고 이러한 정서반응은 학생들이 인지하는 피드백의 질 및 학습자기효능감과 관련이 있는 것으로 나타났다. 결론적으로 정서반응과 학습동기 측면에서 동료피드백을 간호술기 훈련을 위한 학습전략으로 활용될 수 있다는 가능성을 확인하였다. 이에 동료피드백을 효과적으로 활용할 수 있는 방안을 고려해야 할 것이다.
이상의 결과를 토대로 다음을 제언한다. 첫째, 동료피드백이 술기 수행 향상에 직접적으로 영향을 주는지 확인하는 연구를 제언한다. 둘째, 동료피드백과 교수자 피드백의 학습자의 학습동기, 수행향상, 정서반응에 대한 차이를 검증하는 연구를 제언한다. 셋째, 동료피드백의 유형에 따라 학습자의 정서반응, 학습동기, 인지하는 효능감에 차이가 있는지 확인하는 연구를 제언한다. 넷째, 본 연구에서는 피드백을 제공받은 학습자의 반응에 초점을 두었는데 후속연구로 동료피드백을 제공하는 학습자의 반응을 확인하는 연구를 제언한다.
Acknowledgements
본 연구는 제1저자의 석사논문을 재구성한 논문임.
This study is a revision of the master’s thesis of the first author.
References
Boud, D., & Falchikov, N. (Eds.). (2007). Rethinking assessment in higher education, London: Routledge.
In : Boud D., et al, Falchikov N., eds. (Eds.). 2007. Rethinking assessment in higher education London: Routledge. 10.4324/9780203964309.Cheon, E. Y. (2013). The effects of video-aided peer feedback on enhancing nursing students' understanding of foley catheterization. The Journal of Korean Academic Society of Nursing Education, 19(1), 43-51.
Cheon E. Y.. 2013;The effects of video-aided peer feedback on enhancing nursing students' understanding of foley catheterization. The Journal of Korean Academic Society of Nursing Education 19(1):43–51. 10.5977/jkasne.2013.19.1.43.Choi, E. J. (2015). Effects of positive and negative feedback sequence on work performance and emotional response (Unpublished master’s thesis). The Graduate School of Chung Ang University, Seoul.
Choi E. J.. 2015. Effects of positive and negative feedback sequence on work performance and emotional response. et al. The Graduate School of Chung Ang University; Seoul:Gielen, S., Peeters, E., Dochy, F., Onghena, P., & Stuyven, K. (2010). Improving the effectiveness of peer feedback for learning. Learning and Instruction, 20(4), 304-315.
Gielen S., Peeters E., Dochy F., Onghena P., et al, Stuyven K.. 2010;Improving the effectiveness of peer feedback for learning. Learning and Instruction 20(4):304–315. 10.1016/j.learninstruc.2009.08.007.Ilies, R., De Pater, I. E., & Judge, T. (2007). Differential affective reactions to negative and positive feedback, and the role of self-esteem. Journal of Managerial Psychology, 22(6), 590-609.
Ilies R., De Pater I. E., et al, Judge T.. 2007;Differential affective reactions to negative and positive feedback, and the role of self-esteem. Journal of Managerial Psychology 22(6):590–609. 10.1108/02683940710778459.Kannappan, A., Yip, D. T., Lodhia, N. A., Morton, J., & Lau, J. N. (2012). The effect of positive and negative verbal feedback on surgical skills performance and motivation. Journal of Surgical Education, 69(6), 798-801.
Kannappan A., Yip D. T., Lodhia N. A., Morton J., et al, Lau J. N.. 2012;The effect of positive and negative verbal feedback on surgical skills performance and motivation. Journal of Surgical Education 69(6):798–801. 10.1016/j.jsurg.2012.05.012.Kim, E. J. (2018). Effects of examiner's verbal feedback on nursing students' accuracy of self-assessment, emotional response, self-efficacy, and perceived quality of feedback in skill performance assessment. Journal of Korean Academy of Fundamentals of Nursing, 25(2), 146-154.
Kim E. J.. 2018;Effects of examiner's verbal feedback on nursing students' accuracy of self-assessment, emotional response, self-efficacy, and perceived quality of feedback in skill performance assessment. Journal of Korean Academy of Fundamentals of Nursing 25(2):146–154. 10.7739/jkafn.2018.25.2.146.Kim, M. J. (2011). Identifying types of peer feedback improving learners’ ill-structured task performance & developing their instructional strategies. Korean Journal of Educational Methodology Studies, 23(4), 755-779.
Kim M. J.. 2011;Identifying types of peer feedback improving learners’ ill-structured task performance & developing their instructional strategies. Korean Journal of Educational Methodology Studies 23(4):755–779.Kim, S. H. (2014). A study on the feedback speech of prospective elementary school teachers. Journal of Speech Communication, 25, 415-437.
Kim S. H.. 2014;A study on the feedback speech of prospective elementary school teachers. Journal of Speech Communication 25:415–437.Kim, Y. H. (2008). Satisfaction with evaluation method for fundamental nursing practical skill education through cell phone animation self-monitoring and feedback - Focus on foley catheterization -. Journal of the Korean Academy of Fundamentals of Nursing, 15(2), 134-142.
Kim Y. H.. 2008;Satisfaction with evaluation method for fundamental nursing practical skill education through cell phone animation self-monitoring and feedback - Focus on foley catheterization -. Journal of the Korean Academy of Fundamentals of Nursing 15(2):134–142.Lee, C. D. (2008). A study on the ways of teacher's question and feedback in the classroom. The Journal of Korean Arts Education Research,15, 177-216.
Lee C. D.. 2008;A study on the ways of teacher's question and feedback in the classroom. The Journal of Korean Arts Education Research 15:177–216.Lee, H. Y. (2009). Investigating the structural relationship among learner`s motivation, the quality of peer review, and performance in web-blended task-based learning. Journal of Korean Association for Educational Information and Media, 15(4), 129-147.
Lee H. Y.. 2009;Investigating the structural relationship among learner`s motivation, the quality of peer review, and performance in web-blended task-based learning. Journal of Korean Association for Educational Information and Media 15(4):129–147.Lee, K. A., Yoo, N. H., Lee, E. K., Chon, J. Y., & Lee, K. H. (2014). The relationship of academic personality types and major satisfaction on academic achievement related variables. The Korean Journal of Counselling and Psychotherapy, 16(1), 107-121.
Lee K. A., Yoo N. H., Lee E. K., Chon J. Y., et al, Lee K. H.. 2014;The relationship of academic personality types and major satisfaction on academic achievement related variables. The Korean Journal of Counselling and Psychotherapy 16(1):107–121.Lee, S. G., & Shin, Y. H. (2016). Effects of self-directed feedback practice using smartphone videos on basic nursing skills, confidence in performance and learning satisfaction. Journal of Korean Academy of Nursing, 46(2), 283-292.
Lee S. G., et al, Shin Y. H.. 2016;Effects of self-directed feedback practice using smartphone videos on basic nursing skills, confidence in performance and learning satisfaction. Journal of Korean Academy of Nursing 46(2):283–292. 10.4040/jkan.2016.46.2.283.Lee, Y. B. (2014). A study on aspects of college student writer`s acceptance of peer feedback - Focused on aspects of writer`s response on peer feedback and reflection on revised draft. Research on Writing, 21, 201-234.
Lee Y. B.. 2014;A study on aspects of college student writer`s acceptance of peer feedback - Focused on aspects of writer`s response on peer feedback and reflection on revised draft. Research on Writing 21:201–234.Lee, Y. B. (2016). Aspects and effects of peer feedback activities by the difference of peer group members writing levels. Korean Language Education Research, 154, 127-164.
Lee Y. B.. 2016;Aspects and effects of peer feedback activities by the difference of peer group members writing levels. Korean Language Education Research 154:127–164.Lee, Y. J. (2012). Improving pre-service teachers` instructional design skills through peer feedback: Writing lesson plans with ASSURE model. Journal of Educational Technology, 28(4), 687-706.
Lee Y. J.. 2012;Improving pre-service teachers` instructional design skills through peer feedback: Writing lesson plans with ASSURE model. Journal of Educational Technology 28(4):687–706. 10.17232/kset.28.4.687.Lee, Y. J. (2015). Analysis of types of peer feedback affecting students` perceived usefulness of feedback, feedback acceptance, and task performance in instructional blog environments. The Journal of Educational Information and Media, 21(2), 245-264.
Lee Y. J.. 2015;Analysis of types of peer feedback affecting students` perceived usefulness of feedback, feedback acceptance, and task performance in instructional blog environments. The Journal of Educational Information and Media 21(2):245–264.Liaison Committee on Medical Education. (2016, December 14). Functions and structure of medical school: Standards of accreditation of medical education program leading to the MD degree. Retrieved from https://med.virginia.edu/ume-curriculum/wp-content/uploads/sites/216/2016/07/2017-18_Functions-and-Structure_2016-03-24.pdf
. Liaison Committee on Medical Education. 2016. December. 14. Functions and structure of medical school: Standards of accreditation of medical education program leading to the MD degree Retrieved from https://med.virginia.edu/ume-curriculum/wp-content/uploads/sites/216/2016/07/2017-18_Functions-and-Structure_2016-03-24.pdf.Lim, K. Y., Kim, Y. J., Jin, M. H., & Kim, J. Y. (2017). Exploring the effectiveness of peer feedback in problem-solving: Mediating effects of feedback acceptance. Journal of Educational Technology, 33(2), 269-294.
Lim K. Y., Kim Y. J., Jin M. H., et al, Kim J. Y.. 2017;Exploring the effectiveness of peer feedback in problem-solving: Mediating effects of feedback acceptance. Journal of Educational Technology 33(2):269–294. 10.17232/kset.33.2.269.Park, I. H., & Shin, S. J. (2015). The effects of video-based peer assisted learning in standardized patients simulation: Pre and post operative care. Korean Journal of Adult Nursing,27(1), 73-82.
Park I. H., et al, Shin S. J.. 2015;The effects of video-based peer assisted learning in standardized patients simulation: Pre and post operative care. Korean Journal of Adult Nursing 27(1):73–82. 10.7475/kjan.2015.27.1.73.Park, S. Y., & Kweon, Y. R. (2012). The effect of using standardized patients in psychiatric nursing practical training for nursing college students. Journal of Korean Academy of Psychiatric and Mental Health Nursing, 21(1), 79-88.
Park S. Y., et al, Kweon Y. R.. 2012;The effect of using standardized patients in psychiatric nursing practical training for nursing college students. Journal of Korean Academy of Psychiatric and Mental Health Nursing 21(1):79–88. 10.12934/jkpmhn.2012.21.1.79.Plakht, Y., Shiyovich, A., Nusbaum, L., & Raizer, H. (2013). The association of positive and negative feedback with clinical performance, self-evaluation and practice contribution of nursing students. Nurse Education Today, 33(10), 1264-1268.
Plakht Y., Shiyovich A., Nusbaum L., et al, Raizer H.. 2013;The association of positive and negative feedback with clinical performance, self-evaluation and practice contribution of nursing students. Nurse Education Today 33(10):1264–1268. 10.1016/j.nedt.2012.07.017.Seo, Y. J., & Jeon, E. J. (2012). A study of peer feedback opinion validity by types in writing. Korean Language Education Research, 44, 369-395.
Seo Y. J., et al, Jeon E. J.. 2012;A study of peer feedback opinion validity by types in writing. Korean Language Education Research 44:369–395.Sung, J. H., & Jung, Y. S. (2014). Study of peer talk in peer feedback: In writing lesson plans. Journal of Learner-Centered Curriculum and Instruction, 14(11), 419-448.
Sung J. H., et al, Jung Y. S.. 2014;Study of peer talk in peer feedback: In writing lesson plans. Journal of Learner-Centered Curriculum and Instruction 14(11):419-–448.Thomas, J. D., & Arnold, R. M. (2011). Giving feedback. Journal of Palliative Medicine, 14(2), 233-239.
Thomas J. D., et al, Arnold R. M.. 2011;Giving feedback. Journal of Palliative Medicine 14(2):233–239.Van-Dijk, D., & Kluger, A. N. (2004). Feedback sign effect on motivation: Is it moderated by regulatory focus?. Applied Psychology, 53(1), 113-135.
Van-Dijk D., et al, Kluger A. N.. 2004;Feedback sign effect on motivation: Is it moderated by regulatory focus? Applied Psychology 53(1):113–135. 10.1111/j.1464-0597.2004.00163.x.Vanyolos, E., Furka, I., Miko, I., Viszlai, A., Nemeth, N., & Peto, K. (2017). How does practice improve the skills of medical students during consecutive training courses?. Acta Cirurgica Brasileira, 32(6), 491-502.
Vanyolos E., Furka I., Miko I., Viszlai A., Nemeth N., et al, Peto K.. 2017;How does practice improve the skills of medical students during consecutive training courses? Acta Cirurgica Brasileira 32(6):491–502. 10.1590/s0102-865020170060000010.Wilkins, E. A., Shin, E., & Ainsworth, J. (2009). The effects of peer feedback practices with elementary education teacher candidates. Teacher Education Quarterly, 36(2), 79-93.
Wilkins E. A., Shin E., et al, Ainsworth J.. 2009;The effects of peer feedback practices with elementary education teacher candidates. Teacher Education Quarterly 36(2):79–93.Yang, K. H., & Wu, Y. H. (2013). Effects of feedback types on the student's self-efficacy. International Journal of e-Education,e-Business, e-Management and e-Learning,3(3), 202-205.
Yang K. H., et al, Wu Y. H.. 2013;Effects of feedback types on the student's self-efficacy. International Journal of e-Education,e-Business, e-Management and e-Learning 3(3):202–205.