← 라이브러리로 돌아가기

Threads digest · @edutrend_

일·연구의 변화

코딩 몰라도 AI한테 말만 하면 프로그램 뚝딱?

AI에게 말만 하면 코딩이 끝날까요? 사용자 유형에 따라 기능 테스트 통과율이 78.5%와 23.0%로 갈린 SWE-Journey 연구를 통해, 바이브 코딩의 함정과 비전공자가 대화할 때 챙길 네 가지를 살펴봅니다.

소프트웨어 화면 구조를 함께 점검하는 두 사람의 손 · AI 생성 주제 이미지
글의 주제를 표현한 AI 생성 이미지 · 실제 연구 장면이 아닙니다.

말만 하면 뚝딱 만들어준다는 환상

이제 코딩 몰라도 AI한테 말만 하면 프로그램 뚝딱 만든다?

요즘 다들 말하는 ‘바이브 코딩’의 환상을 깨는 진짜 현실 연구가 나왔습니다.

결론부터 말하면, 이 실험에서 AI의 기능 테스트 통과율은 베테랑 설계자 유형과 일할 땐 78%가 넘지만, 비전공자 유형과 일할 땐 23%로 뚝 떨어집니다.

한 번의 답변이 아니라, 여러 번 이어지는 프로젝트

Tencent 연구진이 발표한 SWE-JOURNEY 논문 이야기입니다.

기존 평가가 주로 한 번에 제시된 문제를 푸는 데 초점을 맞췄다면, 이번엔 실제 회사 일처럼 여러 차례 대화하며 평균 열 개가 넘는 파일에 걸쳐 코드를 고치는 장기 과제를 맡겼습니다.

그리고 실제 대화 데이터에서 비전공자, 기획자, 초보 개발자, 베테랑 설계자라는 네 가지 유형을 추출해 AI 사용자 시뮬레이터로 재현했습니다.

78.5% 대 23.0%, 세 배 넘게 벌어진 결과

결과는 꽤 충격적입니다. 최신 AI 13종을 투입했더니, 구조를 잘 아는 베테랑 설계자 유형과 일할 때의 최종 기능 테스트 통과율은 평균 78.5%였습니다. 코딩을 전혀 모르는 비전공자 유형과 일할 때는 23.0%였습니다.

무려 3배가 넘는 격차가 났습니다.

차이는 ‘대화하는 방식’에서도 생깁니다

왜 이런 차이가 날까요? AI의 코딩 능력뿐 아니라, ‘대화하는 방식’도 중요하기 때문입니다.

비전공자는 당연히 원인을 모르니 “화면이 좀 이상해요, 글자 크기 키우면 되려나?”처럼 겉으로 보이는 증상이나 틀린 짐작을 말합니다.

문제는 AI가 “그게 아니라 내부 로직이 문제예요”라고 되묻지 않고, 틀린 지시를 맹목적으로 따르다가 프로그램을 더 망가뜨릴 수 있다는 점입니다.

실전 AI 코딩의 세 가지 핵심 함정

① 되묻기 실패. 많은 모델에서 사용자에게 질문하는 턴의 비율이 20%에도 못 미쳤습니다. 모호한 요청을 확인하지 않은 채 구현에 들어가는 문제가 나타납니다.

② 엉뚱한 곳 수정. 사용자가 잘못 짚어주면 엄한 파일만 건드립니다.

③ 그럴듯한 변명. 지적받은 문제를 알아차리고도 “별거 아니겠지” 하고 그냥 넘어가는 경우가 있습니다. 심지어 자체 테스트 하나를 통과했다는 이유로, 충분한 근거 없이 다 고쳤다고 단정하기도 합니다.

비전공자는 어떻게 대처해야 할까요?

이 연구의 사례를 실전에 옮겨보면, 챙길 대처법은 네 가지입니다.

① 절대 먼저 짐작해서 해결책을 던지지 마세요. “글자 크기 키워줘” 대신 “모바일 화면에서 텍스트가 겹쳐 보이니 원인을 먼저 분석해줘”처럼 현상부터 설명해야 합니다.

② 작업 전에 먼저 질문부터 하라고 못 박으세요. “코드 짜기 전에 질문이나 선택지 2~3개를 먼저 제시해”라고 요청해, 엉뚱한 곳을 고치기 전에 방향을 확인하는 겁니다.

기존 기능은 지키고, 완료는 증거로 확인하기

③ 기존 기능 유지(No-Regression) 원칙을 거세요. 이렇게 조건을 명시할 수 있습니다. “기존에 정상 작동하던 화면과 기능은 절대 바뀌면 안 돼. 건드리기 전 영향 범위를 먼저 말해줘.”

④ AI의 ‘다 고쳤다’는 말만 믿지 마세요. 어떤 테스트를 어떻게 돌렸는지, 반례나 예외 상황은 없는지 증거를 보여달라고 요구해야 합니다.

이 글에서 소개한 원문

SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction

Hexuan Deng, Yue Wang, Wenyu Jiang, Cheng Yang, Haolin Yang, Zhaohua Zhang, Chenchen Zhao, Beiduo Chen, Muxi Chen, Sa Zhu, Geyuan Zhu, Jianhuan Zhuo, Qiuyong Xiao, Tianwen Jiang, Jihong Zhang, Xuebo Liu (2026)

프리프린트 · arXiv v1 · arXiv:2610.11559

연구 원문 보기 ↗
원문 타래 이어 읽기Edutrend의 Threads에서

이 글 공유하기