TL;DR

합성 사용자(Synthetic Users) 는 초기 참고용으로만 쓸 만하고, 진짜 인사이트는 여전히 실제 사용자한테서 나온다. Nielsen Norman Group 연구 결과, AI는 너무 이상적으로 답하고 실제 사용자의 복잡한 행동을 전혀 반영하지 못했다고 결론내렸습니다.

이 포스팅은 NN/g의 ‘Synthetic Users: If, When, and How to Use AI-Generated “Research”’를 참고하여 작성되었습니다.

https://www.nngroup.com/articles/synthetic-users/

---

합성 사용자(Synthetic Users)가 무엇일까

‘합성 사용자(Synthetic Users)’는 실제 사람 대신 AI가 특정 사용자 집단을 흉내 내는 가짜 프로필입니다. ChatGPT 같은 LLM의 학습 데이터를 바탕으로 만들어지는데, 연구자가 이 AI 사용자랑 인터뷰하듯 대화하면서 니즈랑 행동을 파악할 수 있다는 컨셉입니다.

최근 UX 리서치 쪽에서 이게 꽤 화제입니다. 생각해보면, 실제 사용자 섭외하고 일정 맞추고 인센티브 주고… 이런 번거로운 과정 없이 AI랑 대화만 하면 된다니? 솔깃하게 들릴 이야기죠.

NN/g가 직접 테스트해봤다

그래서 UX 리서치계의 대부 Nielsen Norman Group(NN/g)이 2024년 9월에 직접 실험을 해봤습니다.

Synthetic Users 플랫폼이랑 ChatGPT를 써서 과거에 실제 사용자들과 진행했던 3개 연구를 똑같이 재현해본 것.

결론부터 말하면? 명확한 한계가 드러났습니다.

문제 1: 너무 착한 AI

AI는 사람 기분 맞춰주려는 성향(sycophancy) 때문에 지나치게 긍정적이고 이상적으로 답합니다.

가장 극명하게 드러난 것이 온라인 강의에 대한 연구. 실제 연구에서는 학습자들이 좋은 의도로 강의를 시작했지만 바쁘거나 흥미를 잃어서 끝까지 완료하지 못하는 게 일반적인 패턴이었습니다. 그런데 AI는? “항상 끝까지 듣는다”고 대답했습니다.

실제 유저들: “바빠서 중간에 관뒀어요” “흥미 없어서 안 봤어요”
AI 사용자: “계획적으로 학습하며 강의를 완료합니다”

이게 왜 문제일까요? 우리가 UX 리서치로 찾고 싶은 건 바로 이런 ‘불완전한 현실’이기 때문입니다. 사람들이 왜 중간에 그만두는지, 어떤 맥락에서 포기하는지를 이해해야 더 나은 제품을 만들 수 있습니다.

문제 2: 현실의 복잡함을 캐치하지 못한다.

NN/g 연구에서 또 재밌었던 건, Jeff Sauro 팀의 트리 테스팅 실험. ChatGPT에게 내비게이션 구조 찾는 과제를 줬더니, 실제 사람들보다 훨씬 더 잘 수행해버렸다고 합니다.

실제 사용자들은 헷갈리고, 실수하고, 비효율적으로 움직입니다. 그런데 AI는 너무 똑똑하게 행동해버려서 실제 사용자가 겪는 어려움을 전혀 보여주지 못했습니다.

사람들의 비합리적인 결정, 그때그때 상황, 감정적인 부분. 이런 게 UX 리서치의 핵심인데, AI는 이걸 반영하지 못한다는거죠.

그럼 언제 쓸 수 있나?

이 합성 사용자가 완전히 쓸모없지는 않다고 합니다. NN/g는 제한적인 활용 방안을 데스크 리서치 참고 자료로 한정하는 것을 추천합니다. 잘 모르는 도메인에서 기존에 알려진 사용자 특성이나 가설을 빠르게 정리할 때, 실제 리서치를 설계하기 전 배경 지식을 쌓는 용도로 쓸 수 있습니다.

예를 들면:

• “온라인 쇼핑 사용자들이 일반적으로 어떤 행동 패턴을 보이지?”
• “헬스케어 앱 사용자들이 흔히 갖는 우려사항은 뭐지?”

이런 걸 빠르게 훑어보는 용도로요. 하지만 이건 어디까지나 출발점이지, 목적지가 아닙니다.

앞으로는 어떻게 될까?

일부 기업들이 인터넷 일반 데이터 말고 실제 리서치 결과로 학습한 “대화 가능한 페르소나”를 개발 중이라고 합니다. 즉, 진짜 사용자 인터뷰 데이터를 기반으로 만든 AI 페르소나죠.

이건 기존의 합성 사용자와는 좀 다를 수 있습니다. 실제 데이터의 복잡성과 맥락을 학습했다면 더 현실적인 답변이 나올 수도 있으니까요. 지켜볼 만한 흐름이긴 합니다.

결론: 지름길은 없다

UX 리서치를 오래 해본 사람이라면 다 알겠지만, 진짜 인사이트는 쉽게 얻어지지 않습니다. 사용자 리크루팅하고, 일정 조율하고, 인터뷰하고, 관찰하고… 이 과정이 귀찮고 시간이 많이 들지만, 바로 이 과정에서 예상 못 한 발견이 나옵니다.

AI 합성 사용자는 빠르고 편하지만, 경쟁력 있는 인사이트는 만들어주지 못합니다.

NN/g의 말을 빌리자면, 합성 사용자는 도구일 뿐이지 대체재가 아닙니다. 초기 탐색용으로는 쓸 수 있지만, 제품을 차별화할 진짜 인사이트는 여전히 실제 사람들한테서만 나옵니다.

---

참고 자료:

• Nielsen Norman Group (2024). “Synthetic Users: If, When, and How to Use AI-Generated Research”
• ACM Interactions. “The Synthetic Persona Fallacy: How AI-Generated Research Undermines UX Research”