Anthropic의 AI Fluency Index

 

 

AI 도구를 쓰는 사람은 많아졌는데, 진짜 '잘' 쓰는 사람은 얼마나 될까요?

Anthropic이 2026년 1월 Claude.ai 사용자 9,830건의 대화를 분석해 발표한 'AI Fluency Index'는 이 질문에 데이터로 답합니다. 단순히 AI에게 질문하고 결과를 복사하는 수준을 넘어서, AI와 진짜 파트너처럼 협업하는 사람들에겐 어떤 공통된 행동 패턴이 있는지 구체적인 수치로 보여주는 보고서입니다.

 

AI Fluency Index란 무엇인가

AI 유창성(AI Fluency)은 인공지능 시스템과 효과적, 효율적, 윤리적, 안전하게 상호작용하며 업무와 일상에 AI를 능숙하게 활용하는 능력입니다.

AI Fluency Index는 Rick Dakan과 Joseph Feller 교수가 개발한 '4D AI Fluency Framework'를 기반으로 합니다.

이 프레임워크는 AI와 안전하고 효과적으로 협업하기 위한 24가지 행동을 정의하는데, 이 중 실제 채팅 대화에서 관찰 가능한 11가지를 선별해 측정한 것이 이번 지수입니다.

 

4D 프레임워크의 핵심 개념은 아래와 같습니다.

• Delegation(위임): 목표와 의도를 AI에게 명확하게 전달하는 능력
• Description(설명): 구체적인 지시와 맥락, 예시를 제공하는 능력
• Discernment(판별): AI 출력물의 정확성과 한계를 검토하는 능력
• Diligence(성실성): AI를 책임감 있게, 윤리적으로 사용하는 태도

이 지수에서 주목할 점은 AI를 단순한 도구가 아닌 '생각 파트너'로 활용하는 'augmentative(증강형)' 사용 방식이 전체의 85% 이상을 차지했다는 사실입니다. 단발성 명령이 아니라 대화를 이어가며 결과를 다듬는 방식이 압도적이었습니다.

 

가장 중요한 발견: 반복 대화가 fluency를 결정한다

연구에서 가장 인상적인 수치는 'iteration and refinement(반복·정제)' 관련 데이터입니다. 전체 대화의 85.7%에서 이 패턴이 관찰됐고, 반복 대화를 한 사람들은 평균 2.67개의 fluency 행동을 보인 반면 그렇지 않은 사람들은 1.33개에 그쳤습니다. 정확히 두 배 차이입니다.

대화 유형	평균 fluency 행동 수	주요 특징
반복·정제 있음 (85.7%)	2.67개	추론 질문 5.6배, 맥락 누락 지적 4배 증가
결과물 생성 중심 (12.3%)	측정 제외	목표 명확화 +14.7%p, 검증 행동은 감소

 

흥미로운 반전도 있었습니다.

코드나 문서처럼 완성도 높은 결과물이 나올수록, 사용자가 오히려 오류를 덜 확인하는 경향이 나타났습니다.

AI 출력이 세련될수록 맹신 위험이 커질 수 있다는 경고입니다.

화면에 그럴듯한 표나 정리된 문서가 뜨면 "이 정도면 맞겠지"라고 넘어가는 심리, 한 번쯤 경험해 보셨을 겁니다.

 

지금 바로 실천할 수 있는 AI Fluency 3가지 방법

Anthropic 보고서가 제안하는 핵심 행동을 실전에 맞게 정리했습니다.

첫째, 첫 응답을 끝으로 여기지 마세요.

AI의 첫 번째 답변은 시작점입니다. "이 부분 더 구체적으로 설명해 줘", "다른 방식으로 접근하면?" 같은 후속 질문이 fluency를 두 배로 높입니다. 단발성 질문보다 대화를 이어가는 습관이 중요합니다.

둘째, 완성된 결과물도 반드시 검증하세요.

결과가 깔끔할수록 오히려 더 꼼꼼히 따져봐야 합니다. "이 내용 중 사실 확인이 필요한 부분은?", "빠진 맥락이 있을까?" 같은 질문을 습관처럼 붙여보세요.

전체 대화 중 30%만이 이런 검증 행동을 보였다는 점에서, 이것만 실천해도 상위 30%에 진입할 수 있습니다.

셋째, 대화 초반에 협업 규칙을 정해두세요.

"내 전제가 잘못됐으면 지적해 줘", "전문 용어 대신 쉽게 설명해 줘"처럼 역할을 명확히 지정하면 전체 대화의 질이 올라갑니다. 한국어 사용자라면 "단계별로 한국어로 설명해 줘"를 추가하는 것만으로도 응답 품질이 눈에 띄게 좋아집니다.

 

연구의 한계, 솔직하게 짚어보면

이 보고서는 Claude.ai 초기 사용자, 즉 AI에 비교적 익숙한 조기 채택자 중심으로 분석됐습니다.

일반 사용자 집단과는 다를 수 있다는 점을 감안해야 합니다. 또한 11가지 행동만 측정했기 때문에, AI 생성 결과물을 제3자에게 공개 여부 같은 윤리적 사용 행동은 이번 연구에서 관찰할 수 없었습니다.

무엇보다 이 데이터는 상관관계입니다. 반복 대화를 많이 하는 사람이 fluency가 높은 것인지, fluency가 높아서 반복 대화를 하게 되는 것인지는 이번 연구만으로는 확인되지 않습니다. 두 요소가 서로를 강화하는 선순환 구조일 가능성이 높습니다.

 

AI와 일하는 방식이 달라져야 할 때

결국 AI Fluency Index가 말하는 건 간단합니다.

AI를 잘 쓰는 사람은 더 많은 질문을 하고, 더 자주 의심하며, 대화를 끊지 않는다는 것입니다.

도구를 쓰는 게 아니라 함께 생각하는 방식으로 접근하는 것이죠.

Anthropic의 Kristen Swanson은 이 연구를 통해 "AI 활용 능력은 타고나는 게 아니라 경험으로 쌓인다"는 점을 강조했습니다.

지금 당장 사용 중인 AI 대화창을 열고, 마지막 응답 아래에 "이 내용 중 재검토할 부분이 있을까?"라고 한 줄 더 입력해 보세요.

그게 AI fluency의 시작입니다.