){kind=link}
챗GPT를 쓰면서 "이게 왜 이렇게 대충 대답하지?"라는 생각, 한 번쯤 해보셨을 겁니다. 저도 그랬습니다. 처음 몇 달은 거의 네이버 검색 대용으로만 썼는데, 어느 날 질문 방식을 조금 바꿨더니 결과물의 수준이 완전히 달라졌습니다. 그 차이가 어디서 오는지, 제 경험을 토대로 데이터와 함께 풀어보겠습니다.
왜 같은 AI인데 누구는 10%, 누구는 200%를 쓰는가
챗GPT는 기본적으로 사용자가 입력한 문장 뒤에 올 단어를 확률적으로 예측하는 방식으로 작동합니다. 이를 언어 모델(Language Model)이라고 하는데, 쉽게 말해 AI가 "이 문장 다음에 가장 그럴듯한 말이 뭘까"를 계산해서 답변을 완성하는 구조입니다. 이 원리를 이해하면 한 가지가 분명해집니다. 질문이 허술하면 예측도 허술해진다는 것입니다.
실제로 제가 초반에 썼던 질문들을 돌아보면 민망할 정도입니다. "마케팅 전략 알려줘", "이 코드 고쳐줘", "요약해줘"처럼 맥락이 전혀 없는 명령어만 던졌습니다. 당연히 돌아오는 답변도 교과서 수준의 일반론이었습니다. 반면 지금은 "나는 스타트업 마케터고, 예산은 월 50만 원이며, 주 고객층은 30대 직장인이다. 이 조건에서 인스타그램 광고 전략을 짜줘"처럼 상황을 구체적으로 설정합니다. 결과가 비교 자체가 안 됩니다.
이런 질문 설계 방식을 프롬프팅(Prompting)이라고 합니다. 프롬프팅이란 AI에게 원하는 답변을 이끌어내기 위해 입력 문장을 전략적으로 설계하는 기술을 말합니다. 단순한 "잘 물어보기"가 아니라, AI의 작동 원리를 이해한 위에서 맥락과 역할, 목표를 함께 설계하는 작업입니다. 일반적으로 챗GPT 사용자의 대부분이 전체 기능의 10% 내외만 활용한다고 알려져 있는데, 그 차이의 절반 이상은 바로 이 프롬프팅에서 갈립니다.
거짓말을 줄이고 답변 질을 올리는 프롬프팅 실전법
챗GPT가 틀린 정보를 자신 있게 말하는 현상을 할루시네이션(Hallucination)이라고 합니다. 할루시네이션이란 AI가 사실이 아닌 내용을 마치 사실인 것처럼 그럴듯하게 생성하는 오류를 뜻합니다. 제가 직접 겪어본 사례가 있는데, 특정 논문 제목을 물어봤더니 실제로 존재하지 않는 논문을 출처까지 붙여서 알려줬습니다. 그냥 넘어갔다면 망신이었을 겁니다.
이 문제를 줄이는 방법 중 논문으로 검증된 방식이 두 가지 있습니다. 첫 번째는 역질문(Reverse Prompting)입니다. 역질문이란 사용자가 직접 질문을 설계하는 대신, AI에게 "이 주제에 대해 나에게 어떤 정보가 있어야 더 좋은 답변을 줄 수 있겠냐"고 먼저 물어보는 방식입니다. AI가 스스로 필요한 조건을 정리하게 하면, 그 구조 위에서 훨씬 정밀한 답변이 나옵니다. 두 번째는 셀프 리플렉션(Self-Reflection)입니다. 셀프 리플렉션이란 AI가 자신의 답변을 스스로 검토하고 오류를 수정하도록 지시하는 방법으로, "방금 답변에서 논리적으로 문제가 있는 부분이 있으면 수정해줘"처럼 피드백 루프를 만드는 방식입니다. 실제로 Self-Refine 논문(Madaan et al., 2023)에서 이 방식이 답변 품질을 유의미하게 향상시킨다는 것이 입증되었습니다.
솔직히 이건 처음 알았을 때 좀 놀라웠습니다. AI한테 "틀린 거 있으면 다시 봐줘"라고 하면 진짜로 답변이 달라집니다. 단순히 같은 말을 반복하는 게 아니라, 논리 구조나 수치의 오류를 실제로 잡아내는 경우가 있었습니다. 이 외에도 RAG(Retrieval-Augmented Generation)라는 방식이 있는데, RAG란 AI가 자체 학습 데이터에만 의존하지 않고 외부 웹 검색 결과를 실시간으로 가져와 답변에 반영하는 기술입니다. 챗GPT에서 "검색해서 답변해줘"라고 요청하면 이 방식이 작동하며, 최신 정보가 필요한 질문에서 특히 효과적입니다.
제가 직접 비교해봤을 때 효과가 높았던 프롬프팅 조합을 정리하면 다음과 같습니다.
- 상황극화: "너는 10년 차 마케팅 전문가야"처럼 역할과 배경을 명시하면 전문가 수준의 맥락으로 답변이 구성됩니다.
- 역질문: "이 주제에 대해 좋은 답을 주려면 나한테 어떤 정보가 필요해?"라고 먼저 물어서 AI가 방향을 잡게 합니다.
- 셀프 리플렉션: 답변을 받은 뒤 "이 답변에서 논리적 오류나 빠진 부분을 스스로 검토해줘"라고 추가 지시합니다.
- RAG 활용: "최신 자료를 검색해서 답변해줘"라는 키워드로 학습 데이터 한계를 극복합니다.
숨겨진 기능을 일상에 붙이면 달라지는 것들
프롬프팅을 어느 정도 익히고 나면, 그다음은 챗GPT의 숨겨진 기능들을 일상 루틴에 녹여 넣는 단계입니다. 제 경험상 이 단계에서 "AI를 쓴다"와 "AI와 함께 일한다"의 차이가 실감 나기 시작합니다.
가장 인상 깊었던 건 심층 리서치(Deep Research) 기능입니다. 심층 리서치란 사용자가 주제를 던지면 챗GPT가 웹에서 직접 자료를 수집하고 출처를 명시한 전문가 수준의 보고서를 자동으로 생성해주는 기능입니다. 저도 한 번 국내 SaaS 시장 동향을 조사해야 할 일이 있었는데, 이 기능을 쓰니 출처까지 붙은 15페이지짜리 요약 보고서가 10분 만에 나왔습니다. 혼자 했다면 최소 하루는 걸렸을 작업이었습니다. OpenAI 공식 소개 페이지에도 이 기능의 활용 범위가 상세히 설명되어 있습니다.
에이전트 모드(Agent Mode)는 심층 리서치보다 한 단계 더 나아간 기능입니다. 에이전트 모드란 단순 정보 생성에서 그치지 않고 실제 작업, 예를 들어 보고서를 PPT로 변환하거나 여행 일정을 계획하고 예약 초안까지 작성하는 등의 멀티스텝 작업을 AI가 자율적으로 수행하는 기능입니다. 사람이 중간마다 개입하지 않아도 목표 결과물까지 스스로 진행합니다.
음성 대화 기능도 생각보다 훨씬 실용적이었습니다. 제가 직접 써봤는데, 아침에 뉴스 브리핑을 받거나 영어 발음을 교정받는 데 쓰면 별도 앱이 필요 없을 정도입니다. 특히 라이브 영상 기능을 함께 사용하면 카메라로 비추는 식물이나 제품을 실시간으로 분석해주는데, 제 지인은 이 기능으로 식물 독성 여부를 확인한 적도 있다고 했습니다. 마지막으로 프로젝트 기능은 대화를 카테고리별로 분리 관리하는 기능인데, 이걸 쓰기 전까지는 이전 대화 내용이 뒤섞여서 AI가 맥락을 잃는 경우가 종종 있었습니다. 지금은 업무용, 공부용, 개인 기록용으로 구분해서 쓰고 있고, 각 프로젝트 안에서 AI가 누적된 맥락을 기억하기 때문에 답변 품질이 확실히 달라집니다.
결국 챗GPT를 잘 쓴다는 것은 기능을 많이 아는 것이 아니라, 자신의 일상 흐름에 맞게 기능을 붙이는 능력에 달려 있다고 생각합니다. 저도 아직 에이전트 모드는 실험 단계이고, 음성 기능은 매일 쓰지는 않습니다. 하지만 프롬프팅 방식 하나만 바꿨을 때 달라진 것들이 이미 충분히 커서, 나머지 기능들을 조금씩 붙여나가는 것이 지금 저에게 맞는 속도인 것 같습니다. 처음부터 모든 기능을 완벽하게 쓰려 하기보다, 심층 리서치 하나라도 제대로 써보는 것이 훨씬 실질적인 시작이 될 겁니다.
--- 참고: https://www.youtube.com/watch?v=WKLUpLTD6CU https://arxiv.org/abs/2303.11366 https://openai.com/index/deep-research/