시선을 추적 관찰해 조사표에 반영한다
[특수직 공무원의 일과 삶] 조사표실험실
공무원이 하는 일을 제대로 아는 사람은 많지 않다. 지역주민센터 같은 행정기관에서 서류업무만 보는 것이 아닌, 현장에서 일하는 공무원들도 많다. <참여와혁신>이 행정부공무원노동조합과 함께 특수직 공무원들의 일과 삶을 소개한다. 이번 주인공은 조사표실험실이다.
지난달 11월 1일부터 15일까지 2015년 인구주택총조사가 진행됐다. 기존에는 전수조사 방식으로 진행 했으나, 이번에는 행정자료를 함께 사용해 전체의 20% 가구만 대상으로 한 표본조사가 진행됐다. 이렇게 조사된 통계 자료는 많은 부문에서 유용하게 사용된다. 정부가 국가를 운영하거나, 국회에서 법안을 만들 때 근거자료로 사용되기도 한다. 당연하게도 자료에 대한 신뢰도는 높아야 한다. 통계의 정확성과 신뢰도를 높이기 위해 통계조사표를 연구하는 공무원이 있다. 통계청 통계개발원 소속의 ‘조사표실험실’이다.
‘통계청 조사표실험실(Questionnaire Design Laboratory)’은 2013년 5월 개소식을 갖고 본격적인 활동을 시작했다. 기존에 간헐적으로 진행하던 조사표 연구를 전담하는 조직이 탄생한 것이다. 생겨난 지 갓 2년이 되었지만, 조사표실험실이 하는 업무는 간단하지 않다.
통계자료를 만들어 내기 위해서는 많은 사전 준비 과정과 여러 단계 과정을 걸친다. 조사목적을 설정하고 그에 맞는 조사대상과 방법을 선정한다. 그리고 조사 내용, 항목, 구성 등 세부 내용을 확정한 뒤에야 실제 조사가 이뤄진다.
그 중 조사에 사용되는 문항이나 항목에 따라 답변 내용이 변할 수 있기 때문에 조사표 구성은 신중하게 이뤄져야 한다. 객관적인 자료를 얻기 위해서는 물어보는 사람의 의도가 최대한 배제돼야 한다. 또한 물어보는 방법이 답변에 영향을 줄 수 있다는 사실도 무시할 수 없다.
통계는 정확도와 신뢰도가 중요한 요소다. 따라서 조사를 진행하며 발생할 수 있는 오차를 줄이기 위한 노력은 계속 돼 왔다. 미국, 유럽 등 주요 선진국에서는 1980년대 이후부터 인지적조사방법론(Cognitive Aspects of Survey Methodology)에 관한 체계적 연구를 통해 신규 조사표를 개발하고 기존 조사표의 문제점을 개선해 왔다.
우리나라는 2013년에 조사표실험실을 구축했다. 통계청은 주요 국가통계를 생산하고 관리하는 것을 주목적으로 하는데, 단순한 수집이 아니라 객관적이고 신뢰도 높은 자료를 확보하기 위한 방안을 계속 강구한다. 그러한 노력 가운데 하나가 조사표실험실 구축으로 나타난 것이다.
인구주택총조사, 조사표실험실의 연구결과
우리가 접하는 많은 통계자료들이 전부 통계청에서 생산되는 것은 아니다. 통계청에서 매년 조사통계가 이뤄지는 것은 약 41종 정도다. 이 외에 보건복지부, 고용노동부, 여성가족부 등 각 정부부처와 지자체에서도 자체적으로 통계를 생산한다.
통계청은 각 기관, 지자체에서 자체적으로 생산한 통계를 승인하는 업무도 담당한다. 통계청의 승인이 있어야 공식 통계로 인정받게 된다. 이 외에도 자료 수집이나 조사를 대행하기도 한다.
통계청에서는 여성가족부, 보건복지부 등 다른 정부부처·기관의 통계조사를 대행하기도 하는데, 이때 조사표실험실에서 해당 조사표의 조사항목의 표현과 구성에 대해 검토를 실시하기도 한다. 하지만 조사표실험실의 인지도는 크게 높지 않아, 외부에서 조사표 컨설팅 의뢰가 오는 경우는 드물다고 했다.
주요 업무는 통계청에서 기존에 진행하는 통계 조사의 조사표를 개선하기 위한 연구를 진행하는 것이다. 기존 조사표를 평가해 오차를 줄이고 품질을 향상시키기 위해 구성을 바꾸거나 질문항목, 방법을 연구한다. 그리고 연구 결과를 토대로 조사표의 개선이 이뤄지는 것이다.
최근에는 조사원이 직접 조사표를 가지고 방문하는 조사 외에도 인터넷과 모바일로 조사가 이뤄지는 등 환경의 변화에 따른 조사표 연구 수요가 늘어나고 있다. 통계청은 2015년 인구주택총조사의 인터넷 조사 참여율이 2010년의 인터넷 참여율을 초과했다고 전했다.
이번 인구주택총조사의 인터넷 조사표는 조사표실험실의 연구결과가 반영된 것이라고 한다.
사실 조사표실험실이라는 명칭도 생소할뿐더러 업무에 대해서도 모르는 게 당연하다. 2013년에 처음 생겼고, 실험실에서 일하는 사람도 적다. 인원이 적기 때문에 동시에 여러 가지 업무를 진행하기엔 어려움이 있다.
현재 집중하고 있는 것은 기존 조사표의 개선이다. 기존의 조사표는 연구자나 조사원의 관점에서 구성된 경우가 많기 때문에 일반인이 지문을 이해하고 제대로 된 답변을 하기가 어려운 경우가 있다. 조사표를 제시 했을 때 연구자나 조사자는 응답자가 조사표의 내용을 전부 볼 것이라고 생각한다. 하지만 실제로 연구를 해 보면 주의를 기울이지 않는 항목이 있거나 답변을 건너뛰거나 무의식적으로 제대로 읽지 않고 답변을 하는 경우도 있다. 이럴 경우 통계자료의 정확도나 신뢰도는 떨어질 수밖에 없다.
따라서 조사표를 연구자나 조사원의 관점에서 구성하는 것이 아니라 일반인 응답자의 관점에서 구성하는 게 중요하다. 이를 통해 통계 조사의 오차를 줄여나가는 것이 가장 큰 역할이다. 당연히 통계자료의 정확도와 신뢰도는 커진다.
인지면접, 포커스그룹면접, 그리고 시선추적실험을 통해 실험과 연구를 진행한다. 인지 면접은 응답자와의 일대일 심층 면접을 통해 응답과정과 문제점을 파악한다. 조사표의 질문을 응답자에게 물어 그에 대한 생각과 이유 등을 묻고, 응답자의 사고 과정을 전부 파악할 수 있도록 한다. 연구자의 짐작이 아닌 응답자의 답변을 통해 결과를 얻어내는 것이다.
포커스그룹면접은 10명 내외의 인원이 사회자와 함께하는 방식으로 조사주제에 대한 이해와 용어사용을 확인하고 다양한 의견을 듣는 식으로 진행한다.
시선추적실험은 시선추적기를 통해 응답자의 눈동자의 움직임을 관찰하고 조사표가 얼마나 효율적으로 구성됐는지 여부를 확인한다. 응답자들의 시선이 자연스럽게 진행 될 수 있도록 조사표를 구성하고, 필요한 경우에는 강조 표시를 넣는다. 그리고 불필요한, 불편한 점 등이 발견된다면 이를 개선해 가는 것이다. 이렇게 응답시간을 단축하는 등 응답자의 부담을 줄여 보다 정확한 답변을 이끌어내는 것이 목적이라고 할 수 있다.
실험에 참가하는 응답자를 모집을 하면, 연구 특성상 학력이나 연령대 별로 고르게 모집해 실험을 진행하는 것이 좋지만 실제로는 접근성이 높은 젊은 대학생에 치중되기도 한다.
대부분의 40~50대의 남성은 낮 시간에 실험실을 방문하기가 어렵기 때문이다. 필요에 따라서는 현장에 나가야 하는 것이다. 특정 조사 대상이 필요할 경우에도 직접 방문해 실험을 진행 한다.
실험과 연구를 진행하며 조사표의 개선방안을 도출하는 데에는 시간이 많이 소요된다. 한 가지 통계조사의 조사표의 연구에도 1~2개월은 꼬박 집중을 해야 한다. 하지만 통계조사에 소요되는 전체 시간에서 조사표에 할애할 수 있는 시간은 많지 않다.
매년 연구 과제를 책정하고 연구와 실험을 통해 개선 방향을 마련해 실제 조사를 담당하는 부서에 의견 제시도 한다. 연구과제 선정에 대한 자율성은 보장된다고 했다. 자체적으로 진행하는 연구와 함께, 통계청이나 실사과에서 필요에 따라 검토 요청이 오면 그에 따른 대응도 한다.
조사표 연구만 하는 것이 아니라 인구주택총조사와 같은 큰 조사를 할 땐 통계청 전 직원이 동원돼 지원을 하기도 한다. 연말연시에는 기관 평가 대응을 위한 행정업무가 늘어나기도 한다.
일반직 공무원인데, 하는 일은 연구
현재 조사표실험실에서 일하고 있는 공무원은 통계청 공채를 통해 발령을 받아 들어오거나, 민간경력직 채용제도를 통해 선발됐다. 통계청이기 때문에 당연히 통계학과 출신이 많을 것이라고 생각하지만, 통계학 외에도 사회과학 분야를 전공한 사람도 많다.
통계청에서 진행하는 조사에 경제, 사회, 복지, 고용 등 모든 분야가 총 망라돼 있기 때문이다. 조사표실험실에는 인지심리학과 사회학을 전공으로 한 공무원이 업무를 담당하고 있다.
국내에 조사표 실험을 연구 대상으로 하는 기관이나 학자가 없기 때문에 국내에 유일한 조사표실험 연구 기관으로 조사표연구 분야를 사실상 개척하고 있다고 보면 된다. 전문적인 조언을 얻거나 국내 자료를 찾을 수 없기 때문에 외국 자료를 찾아 공부해 가며 연구를 진행한다.
어느 정도 노하우가 쌓여 외국의 컨퍼런스에 참가해 발표를 하고 좋은 반응을 얻기도 했다. 외국 학회나 연구소에서 조사표를 연구하는 학자들 이메일로 교류하며 자문을 구하는 식이다.
통계개발원에서 일하는 공무원 대부분은 연구를 주 업무로 하고 있다. 하지만 일반직 공무원으로 채용되기 때문에 연구수당은 따로 지급되지 않는다. 실제로는 일반직 공무원인데 하는 일은 연구직 업무다. 그렇다고 해서 연구직 대우를 해주는 것도 아니라는 것이다.
통계의 정확성-신뢰성 향상을 위해
조사표를 한 번 개선해 놓으면 매 년 다시 연구할 필요는 없다. 환경이 바뀌거나, 새로운 조사표를 만들 때 참여하는 식이다. 최근에는 인터넷과 모바일 사용자가 많아, 그에 대한 연구도 진행할 계획이다.
조사표연구실은 잘 알려져 있지 않기 때문에 외부에서 조사표 컨설팅 의뢰가 들어오는 경우는 거의 없다. 하지만 조사표 연구에 대한 수요가 늘어나 타 정부기관이나 지자체에서 연구 의뢰가 들어올 때를 대비해연구 역량을 키우기 위한 노력을 계속하고 있다.
조사표실험실이 처음 만들어 졌을 땐, 조사표 연구에 대한 의문을 갖는 경우가 많았다고 했다. 교수나 학자에게 검토를 받아 조사표를 구성하면 된다는 생각이다. 또한, 몇 명의 응답자에게 이뤄진 실험이 전체 응답자를 대표할 수 있을 것인가에 대한 의문이다.
하지만 연구가 진행되고 인지면접이나 포커스그룹면접 시선추적실험 등을 통해 실제 조사표가 개선되는 모습에서 의구심은 사라진다.
2015년 인구주택총조사의 인터넷 조사표는 시선추적실험 연구 결과가 반영됐다. 앞으로도 더 많은 통계 조사에 조사표실험실의 역할이 필요할 것이다.
통계자료는 정말 유용한 자료이지만, 일부에는 자신들 입맛에 맞게 분석해 사용하는 경우도 있다. 또한 객관적 방법을 적용하지 않은 설문조사를 해 통계에 대한 이미지를 부정적으로 만들기도 한다. 이러한 부분이 통계의 신뢰도를 훼손하는 부분이다.
하지만 통계청은 국제 기준에 맞춰 객관적으로 자료를 수집한다. 그리고 오차를 줄이고 정확도와 신뢰도를 높이기 위해 많은 부분에서 노력하고 있다. 그 한 축을 ‘조사표실험실’이 담당하고 있는 것이다.
조사표실험실의 공무원은 일반직이지만 하는 업무는 연구직과 동일한 부분이 많다. 담당 공무원이 전문성을 키울 수 있도록 하는 제도적 지원이 필요하다. 사회·경제적 변화에 따른 의사결정 과정에서 통계의 역할은 계속 중요해지고 있다. 통계의 정확성-신뢰성 향상을 노력은 계속돼야 한다.
