2024KRelection_commentary

100% 전화면접+가상번호 체계 품질 변화

(아직 작성 중인 문서입니다. 정리가 되는대로 데이터와 코드들도 공유할 예정입니다)

Motivation

본 문서는 정한울원장님의 “정한울의 숫자로 본 총선민심” 2024-04-04 한국일보 기고문에서 나온 3번째 그래프를 재현하고, 좀더 분석해보려고 합니다.

한국일보 3번째 그래프 (협조율/응답률 변화)

해당 그래프는 기고문에서 정한울원장님께서는 여론조사 품질 지표가 많이 악화되었다고 하시며 올려주신 근거 그래프입니다.

실제로 지난 대통령 선거와 지방 선거 이후 여론조사 품질 지표가 많이 악화, 대표성 있는 확률 표집이 어려워졌다. 무엇보다 안심번호 가상번호 활용 이후 응답률이 낮아지고 있다. 또 저가의 선거 조사가 난무하면서 ‘안심번호 제공’을 거부하는 시민이 늘어나고, 조사에 체계적으로 배제되는 유권자층도 증가하고 있다.

한국갤럽에서도 최근 조사담에서 무선전화 안심번호에 대해서 다뤄주신 바 있고, 실제로 알뜰폰 증가 등 추후 문제들에 대해 짚고 있습니다.

저는 공표되는 여론조사들의 주요 품질지표 - 협조율, AAPOR응답률, 디자인효과 (인구집단별 가중배율), 셀가중/림가중 - 등 중앙선거여론조사심의위원회(이하 여심위)의 지표들을 꼼꼼히 보면서 여론들을 알고 싶어하는 일반시민입니다. 그런데 제가 나름 더 큰 무게로 살펴보는 100% 무선전화/가상번호 체제의 여론조사들이 품질지표가 낮아지고 있다면 정말 큰 문제고, 중요한 민주주의의 행사인 선거에도 각 행위자들에게 잘못된 인상을 줄 수 있는 정보이므로 대책을 마련해야한다는데 공감합니다. 실제로 정한울선생님의 관련 페이스북 포스트에서 가상번호 제공을 제한해야한다는 의논도 나고 있는 것을 확인했습니다.

그래서 더더욱 기고문에 제시된 그래프들을 꼼꼼히 보게 됐습니다.

그래프에선, x축을 보면 대선기간 가상번호 전화면접 여론조사 323건, 지난 지선(‘22) 가상번호 전화면접 여론조사 396건, 그리고 이번 (‘24) 총선 가상번호 전화면접 76건이 집계되어 아마 평균값을 뽑은 것 같습니다. 그 동안 여론조사들의 품질지표에 관심을 많이 갖고 있었던지라, 여심위 사이트에서 종종 확인하곤 했는데,

여론조사 현황

다행히 훌륭한 여심위 사이트에서 여론조사들의 구체적 결과가 아닌 모든 품질지표들은 어렵지 않게 뽑아볼 수 있습니다. 우선 기고문의 그래프가 대강 어떤 종류의 여론조사들을 집계해본 것인지 확인해봅시다.

2024 총선 전화면접+가상번호 여론조사

2024년 총선 전화면접+가상번호 여론조사는 우선 대강 2023년 12월 12일부터, 지금까지의 모든 여론조사 정보, 총 1500건을 여심위 사이트에서 수집했습니다. 이 중에서,

77건입니다. 이 중 여심위 등록일 기준으로 4건의 여론조사가 4월 3일과 4월 4일 등록되어있습니다. 즉 아마도, 대강의 시작 시점을 잡아 그래프에서 보인 총선의 76건은, 이러한 특성의 조사를 모으신게 아닌가 추정해봤습니다. 제가 뽑아본 77건의 총접촉률, 총협조율 및 AAPOR응답률은 다음과 같습니다:

이는 대강 그래프3의 값과 비슷합니다. 아마도, 총선 여론조사를 뽑으신 기준은 제가 뽑은 시작 시점과 조금은 차이가 나서 그런게 아닌가 짐작해봅니다.

여기서 언급할 점이 있습니다. 전국조사가 아니면서, 100% 무선전화 전화면접조사로, 가상번호를 활용한 여론조사수는 어떻게 될까요? (다시 2023년 12월 12일 이후 조사)

2022 지선 전화면접+가상번호 여론조사

지선의 경우는 어떠한가요? 대선 이후, 2022년 지선 전까지 여심위 사이트에 등재된 모든 조사들을 뽑았습니다. 총 1,554건 정도 됩니다. 이 중에서, 위의 총선과 같은 기준, 즉,

는 9건밖에 없었습니다. 충분히 이해가 되는게, 정기적으로 수행되는 전국조사는 많지 않고, 지방선거 자체가 전국이 하나인 선거구인 조사는 없기때문에, 대부분 지역조사로 진행됐기때문입니다. 그렇다면 전국조사가 아니고,

는 어떠할까요? 총 315건이 집계됐습니다. 그렇다면 총 324건이 집계되는건데요, 그래프에서 제시된 396건이랑은 좀 차이가 납니다.

잘 살펴보니, 지역조사 중에, 유선전화/RDD 표집이 포함되어 있는 여론조사들이 꽤 있어서 그렇습니다. ARS까지 섞은 혼종을 제외하고, 총 68건이 더 나왔습니다. 이를 포함하면, 총 392건이 됩니다. 여기에 ARS까지 포함된 5건의 조사를 넣으면, 397건이 되어서, 그래프에서 제시된 숫자랑 비슷해집니다.

이들의 단순평균치를 살펴보면,

이렇게, 아마 ARS혼합조사까지 포함해서 그래프3의 협조율과 응답률이 계산된게 아닌가 싶습니다.

2022 대선 전화면접+가상번호 여론조사

대선 여론조사는 일단 여심위 사이트에서 2021년 5월 1일 (대강 재보궐선거 끝난 직후)부터 2022년 3월, 대선 직전까지의 모든 등재 여론조사들을 집계했습니다. 이 중에서

이는 131건이었습니다. 이는 그래프3에서 제시된 323건보다 훨씬 적습니다. 잘 살펴보니, 대선기간 동안 지역 여론조사가 77건이 있었고, 100% 가상번호가 아니라 유선전화/RDD, ARS를 포함한 전국/지역 여론조사들이 189건이 있었습니다. 둘을 합산하면 320건이 됩니다.

여기서 131건에 대해서 평균을 낸다면:

320건을 전부 포함하면 그래프3에서 나온 총접촉률, 응답률이 많이 다릅니다. 이렇게 되면 전국조사의 경우 재보궐선거 전의 여론조사 결과도 산입되었던게 아닌가 싶은데요, 131건만 봤을 경우 협조율과 응답률 평균이 대강 일치하므로, 대선의 경우 전국, 100% 무선전화 전화면접, 가상번호 사례들 (131건)으로 분석하는 것이 맞을 것 같습니다.

중간요약

이렇게 여심위의 데이터들을 통해 살펴봤을 때,

라는 잠정적인 결론에 이르렀습니다.

여론조사의 품질지표를 결정하는 요인들

자, 이제, 실제로 100% 가상번호를 활용한 여론조사들의 주요 품질지표가 실제로 총선에 떨어졌는지 좀더 살펴볼 수 있게 됐습니다.

조사일수

우선 대선, 지선, 총선에 걸쳐서, 전국 여론조사의 응답률 분포를 살펴봤습니다. image

앞서 말씀드린대로, 지선기간 동안 전국조사는 많지 않습니다. 하지만 대선과 총선조사를 살펴볼 경우, 다음과 같은 점들을 눈여겨볼 수 있습니다.

같은 식으로 지역여론조사들만 뽑아서, 2022년 지선 여론조사들 대비, 총선 여론조사들의 응답률 지표 분포를 확인해볼 수 있습니다. image

이를 종합하면 아래와 같은 그래프를 그릴 수 있을 것 같습니다.

image

조사시점, 지역, 휴일조사 등

그렇다면 수집한 여론조사기간동안, 예컨대 응답률이 떨어지는 경향이 관찰된다든지 (선거에 임박할수록 여론조사가 너무 많아서), 그런 경향이 관찰되는지 궁금합니다.

image

위에서 보시다시피, 근 1년간의 대선 기간동안 3일조사의 응답률은 조금씩 떨어져온 것처럼 보이지만, 나쁜 응답률 수치들도 대선 임박해서 상당수 보입니다. 그에 비해서, 총선에서의 2/3일 여론조사들의 응답률 수치들은 대단히 안정적이었다는 것을 확인할 수 있습니다. 지선에서 많이 집계된 지역조사들은 어떨까요?

image

신기하게도, 특정 시점에서 높은 응답률을 보이는 조사들이 눈에 띕니다. 잘 살펴보니, 특정 지역에서 지선 때에 높은 응답률이 여론조사 결과가 나왔던 것이고, 실질적으로 많은 베이스라인이 이번 총선과 달라 보이지 않습니다.

image

조금더 살펴보면, 대부분 호남, 일부 충북에서 높은 응답률의 지역 여조들이 있고, 나머지는 총선과 지선이 그리 큰 차이가 나 보이지 않습니다. 즉, 적어도 지선 때 지역여조에서는 지역 효과를 통제해야 품질수치 차이를 논할 수 있을 것 같습니다.

이건 작은 샛길이지만, 항간에 휴일이 포함되어 있는 경우와 그렇지 않은 경우 여론조사의 차이가 있는지도 살펴봤습니다.

image image

별로 없어 보입니다. 상세항목에서, 직업구성 등의 차이가 있을지 궁금하긴 한데, 이건 많은 여론조사 결과표를 parsing해야하는 것이어서 (일부 해봤었습니다) 여기에는 포함하지 않았습니다.

조사기관

마지막으로, 조사기관들을 살펴봐야할 때입니다.

100% 면접조사+가상번호로, 전국 또는 지역에서 여론조사를 여심위 사이트에 등재한 회사들은 다음과 같습니다.

SurveyAgency 대선(전국) 대선(지역) 지선(전국) 지선(지역) 총선(전국) 총선(지역) total
코리아리서치인터내셔널 24 17 2 86 8 84 221
한국리서치 40 19 3 50 10 73 195
케이스탯리서치 14 19 1 83 3 69 189
한국갤럽조사연구소 5 11 0 5 19 70 110
여론조사꽃 0 0 0 0 12 67 79
엠브레인퍼블릭 21 2 2 2 12 7 46
입소스 주식회사 1 0 0 8 4 17 30
메트릭스 0 0 1 22 4 0 27
메타보이스 0 0 0 0 3 22 25
글로벌리서치 6 0 0 9 1 8 24
넥스트리서치 0 0 0 0 0 18 18
케이에스오아이 주식회사(한국사회여론연구소) 5 0 0 2 0 5 12
서던포스트 8 0 0 0 0 0 8
리서치앤리서치 1 0 0 0 0 5 6
칸타코리아(칸타 퍼블릭) 0 0 0 3 0 0 3
에스티아이 0 2 0 0 0 0 2
모노커뮤니케이션즈(모노리서치) 0 0 0 2 0 0 2
넥스트인터랙티브리서치(넥스트리서치) 1 0 0 0 0 0 1
윈지코리아컨설팅 1 0 0 0 0 0 1
유니온리서치 1 0 0 0 0 0 1
현대리서치연구소 1 0 0 0 0 0 1
한국사회여론연구소(KSOI) 0 0 0 1 0 0 1
한길리서치 0 0 0 1 0 0 1
여론조사공정 0 0 0 0 0 1 1

보시다시피, 여론조사꽃이 총선 전국/지역 여조에 참전한 새로운 회사이고, 메타보이스도 총선에만 참전하게 된 새로운 여론조사입니다. 지역구에서는 넥스트리서치나 리서치앤리서치도 100% 전화면접+가상번호로 여론조사를 한 회사들인데, 모두 갯수상으로는 매우 적어 보입니다. 결국 혹시 총선에서 응답률이 떨어지는 이유가 이러한 여론조사회사의 구성에 의한 효과인지를 마지막으로 살펴봐야할 것입니다.

앞서 살펴본 바와 같이 지역여조의 경우 특정 지역 여조들은 제외하고 응답률을 비교하는 것이 더 맞을 것 같습니다. 그래서 조사기관과 조사일수를 기준으로, 주요 회사들의 응답률을 정리해봤습니다.

image

전국조사에서 응답률이 떨어지는 업체들이 보이긴 합니다.

image

하지만 지역조사에서는 큰 수준에서 차이가 보이는지 약간 의문입니다.

잠정적 요약

AAPOR응답률 기준으로 봤을 때, 여러 변인들을 통제하면, 제일 튀는 것은 대선기간동안의 100% 전화면접+가상번호 여론조사들입니다. 2022년 지선이나, 총선결과를 1:1로 비교하자면, 응답률에 있어서 특별한 차이가 있는지 잘 살펴보기 어려웠습니다.