같은 의사들도 인정한 Chat GPT…"의사 답변보다 낫다"

https://www.medicaltimes.com/Main/News/NewsView.html?ID=1153418 

같은 의사들도 인정한 Chat GPT…의사 답변보다 낫다

환자들이 의사에게 묻는 대부분의 질문에 대해 의사들의 답변보다 대화형 인공지능인 Chat GPT가 오히려 낫다는 평가가 나왔다. 이는 실제 의사들의 평가라는 점에서 의미가 있다. 현재 대화형 인공지능인 Chat GPT가 우수한 성능을 보여주면서 각 학계에서는 이에 대한 실제적 기능에 대한 평가가 이루어지고 있다.

 

검사 결과는 충격적이었다. 모든 부분에서 Chat GPT가 앞섰던 것이다. 답변에 대한 평균 길이를 비교하자 의사는 52개의 단어에 그친 반면 Chat GPT는 무려 211개의 단어를 활용해 자세히 답변했다. 이뿐만이 아니라 답변 정확도와 품질을 평가한 결과 의사의 응답은 평균 3.26점에 그쳤고 Chat GPT는 평균 4.13점으로 앞섰으며 잘못된 정보나 품질의 답변으로 평가받는 비율도 의사는 27.2%, Chat GPT는 2.6%를 기록했다. 매우 좋다는 평가를 받은 답변 역시 의사는 22.1%, Chat GPT는 무려 789.5%로 압도적으로 높았다. 공감 부분에서도 의사는 2.15점, Chat GPT는 3.65점을 기록했고, 공감하기 힘들다는 비중도 의사는 80.5%, Chat GPT는 14.9%로 유의미하게 적었다. 

 

이를 통해 대부분의 질문에서 Chat GPT가 앞선다는 것을 알 수 있었고 아무리 한계가 있다고 하지만 이를 충분히 활용할 수 있다고 평가했다. 물론 최종적으로 진단과 약물의 조절 같은 중요한 부분은 의사의 체크가 있어야겠지만 Chat GPT의 답변을 의사가 검수하는 방법으로 의사의 로딩을 줄일 수 있을 것이라고 밝혔다.

 

더 알아볼 점

의사들이 경험이 많은 의사들인지, 경험이 적은 의사들인지에 따라서 결과가 달라질 수 있기 때문에 이것을 절대적인 지표로 바라보기는 어려울 것 같고 Chat GPT가 어떻게 평가를 내렸는지, 오류를 낸 부분에서 심각할 정도의 오류는 없는지 살펴보아야 할 것이다.