오는 8월 1일 (현지 기준 7월 31일 ) The 47th Annual Meeting of the Cognitive Science Society (San Francisco, CA) 에서 발표할 논문을 소개합니다.

논문의 전문은 아래 링크에서 확인하실 수 있습니다.

---

Shin, M., Kim, D., & Ryu, J. K. (2025). “There Is No Such Thing as a Dumb Question,” But There Are Good Ones. In Proceedings of the Annual Meeting of the Cognitive Science Society (Vol. 46). Retrieved from https://escholarship.org/uc/item/06z883w5

이번 논문은 “세상에 멍청한 질문은 없다”고 단언한 칼 세이건의 인용구로 시작합니다. 좋은 질문을 정의하고 (인공지능용) 평가 기준을 만들겠다고 덤빈 약 3.5년의 고뇌를 함축하는 말이어서 제가 참 좋아합니다.

질문이 평가의 대상이 될 수 있을까요? 글쎄요. 그럴수도 있고 아닐수도 있습니다. 질문에는 맞고 틀림이 없습니다. 참/거짓 값을 담고 있는 명제와 달리, 질문은 ‘정보를 구하는 행동’ 그 자체이기 때문입니다. 질문 그 자체로는 틀릴 수도, 완전히 멍청할 수도 없습니다. (단, 예의바른 요청을 위한 의문문, 혹은 상대방에 대한 공격 의도가 충만한데 형태만 의문문인 경우 등은 질문으로 간주하지 않습니다.)

그러나 우리는 질문을 잘 하는게 중요하다고 합니다. 인공지능 시대에 더 중요한 인간의 자질이라고도 하고요. 네, 잘 된 질문은 분명히 존재합니다.

질문의 수준을 논할 때, 전체 맥락을 봐야 한다는게 질문 평가의 최고 난점입니다. 나의 무지를 완전히 드러내고 상대에게서 직접적으로 정보를 구하는게 용인되는 상황(이를테면, 수업시간)이 있는가 하면, 내가 가진 정보를 적당히 가리고 적대적인 상대방에게서 정보를 얻어내야 하는 상황(이를테면, 협상, 심문)도 있지요. 심지어 드문 경우 말도 안되는 선문답이 놀라운 깨달음을 가져다주기도 합니다.

저는 이 논문을 통해 ‘질문을 평가하기 위해서는 대화의 맥락을 고려하여 적절한지, 효과적인지를 따져봐야 한다’ 라는 뻔한 얘기를 돌려돌려 어렵게 하고 있습니다. 🙂 실질적인 평가를 위해 어떤 요소들이 만족되면 적절한 것이고, 또 어떤 요소들이 만족되면 효과적인 것인지 정량적으로 판단할 수 있도록 분석 체계를 제안하고, 실제 질문들을 분석하여 확인하였습니다.

“인공지능의 질문”을 주제로 달려온 시간이 거의 4년을 채워갑니다. 조금은 특이한 논점과 주장으로 어찌어찌 학위까지 받게 되는데요. 돌아보면 오히려 사람에 대해 더 깊이 들여다본 시간이었습니다. 이 여정에서 마주한 지혜로운 사람들과 그들의 연구에 감사와 경의를 표합니다.

Excited to present our paper at the COGSCI2025 in San Francisco on July 31st!

“There Is No Such Thing as a Dumb Question,” But There Are Good Ones

We start with Carl Sagan’s famous quote about there being no dumb questions - which perfectly captures my 3.5-year journey of trying to define what makes a “good” question and create evaluation criteria for AI.

Can questions even be evaluated? Well, yes and no. Questions don’t have right or wrong values like propositions do. They’re acts of seeking information, so they can’t be “wrong” or “completely stupid” in themselves. (Though we’re not counting polite requests disguised as questions or hostile attacks in question form!)

But we all know some questions are better than others - especially important in the AI age.

The trickiest part? Context is everything. Sometimes it’s fine to show complete ignorance and ask directly (like in class). Other times you need to strategically hide what you know while extracting info from an adversary (negotiations, interrogations). Occasionally, even seemingly absurd zen questions can bring profound insights.

So yes, I’m taking the obvious point that “questions should be evaluated based on context, appropriateness, and effectiveness” and making it unnecessarily complicated! 🙂 We’ve created a framework to quantitatively assess what makes questions appropriate and effective, then tested it on real examples.

Nearly 4 years into studying “AI questions” and somehow earning a degree with this quirky topic. Looking back, it’s been more about understanding humans than anything else. Grateful for all the brilliant people and research I’ve encountered along the way.