• 메인
  • 행동 양식
  • 4. 두 가지 일반적인 검사로 대부분의 가짜 사례를 파악하지 못함

4. 두 가지 일반적인 검사로 대부분의 가짜 사례를 파악하지 못함

온라인 설문 조사를 위해 다양한 데이터 품질 검사가 개발되었습니다. 예를 들어 주의력 검사 (또는 함정) 질문에 실패하거나, 설문 조사를 너무 빨리 완료 (스피더)하거나, 반올림 된 숫자 답변을 제공하거나, 여러 질문에 대해 각 질문에 대해 동일하거나 거의 동일한 답변을 제공하는 응답자 표시 (직선 ). 아마도이 중 가장 흔한 두 가지는주의 점검 실패와 과속 플래그 일 것입니다.18

대부분의 가짜 응답자는 과속 및주의 검사를 통과합니다.핵심 질문은 이러한 공통 검사가 여론 조사원이 공개 여론 조사 결과를 편향하기 전에 가짜 응답자를 식별하고 제거하는 데 충분한 지 여부입니다. 이 분석에서는 가짜 응답자를 4 가지 중 하나를 수행 한 사람으로 정의합니다. 즉, 외국에 거주하는 것으로보고되거나, 비 공평적인 답변을 여러 번 제공하거나, 설문 조사에 여러 번 응시하거나, 요청한 내용과 관계없이 항상 승인 / 찬성한다고 말했습니다.19가짜 응답자의 비율은 크라우드 소싱 설문 조사에서 7 %, 3 회의 옵트 인 패널 설문 조사에서 평균 5 %, 주소를 채용 한 2 회의 패널 설문 조사에서 평균 1 %였습니다.

이 연구의주의 점검 질문은 '주의를 기울이고 지침을주의 깊게 읽는 것이 중요합니다. 관심이 있으시다면 아래의 실버를 선택 해주세요. ' 전체적으로 62,639 명의 응답자 중 1.4 %가 '실버'가 아닌 답변을 선택하여 주의력 검사에 실패했습니다. 가짜 사례 중 대부분은주의 점검 (84 %)을 통과했다. 즉, 표준주의 검사는 가짜 응답자가 참여하는 저품질의 편향 데이터 유형을 제공하는 것으로 밝혀진 대부분의 사례를 감지하는 데 작동하지 않습니다.이 결과는 가짜 데이터를 제공하는 응답자가 무작위로 응답하지 않고 질문 읽기-행동주의 점검은 잡기 위해 고안되었습니다. 대신,이 결과는 일부 가짜 응답자, 특히 크라우드 소싱 플랫폼의 응답자들이 수용 할 수 있다고 생각하는 답변을 제공하기 위해 종종 매우 열심히 노력하고 있다는 개방형 데이터의 결과를 확증합니다.

크라우드 소싱 설문 조사에서 가짜 응답자는 3 분 이상 걸렸습니다. 다른 사람보다 설문 조사를 완료하는 데 더 오래 걸립니다.과속 결과는 비슷했습니다.이십전체적으로 62,639 명의 연구 응답자 중 1.5 %가 과속 신고를 받았습니다. 과속은 평균 응답 시간이 7 분인 3 분 이내에 설문 조사를 완료하는 것으로 정의되었습니다. 가짜 사례 중 약 87 %는 속도를 내지 못했습니다.이십 일

이는 너무 빠른 인터뷰를 확인하는 것이 가짜 답변을 제공하거나 설문 조사에 포함되어서는 안되는 사례를 탐지하는 데는 대체로 비효율적임을 시사합니다. 크라우드 소싱 샘플에서 가짜 응답자는 다른 응답자보다 완료 시간 중앙값이 더 길었습니다 (각각 701 초 대 489 초).

이 결과는 다른 연구팀의 결과와 일치합니다. Ahler와 동료 (2019)와 TurkPrime (2018) 모두 사기성 크라우드 소싱 응답자들이 설문지를 빠르게 처리 할 가능성이 낮다는 사실을 발견했습니다. Ahler와 동료들은 '잠재적 인 트롤과 잠재적으로 사기성 IP 주소가 설문 조사에서 평균적으로 훨씬 더 오래 걸린다'는 것을 발견했습니다. TurkPrime 연구에 따르면 실제 위치를 숨기기 위해 서버 팜을 통해 작업하는 크라우드 소싱 작업자는 설문지를 작성하는 데 서버 팜을 사용하지 않는 작업자보다 거의 두 배나 오래 걸렸습니다. 그들은 그들의 결과가 서버 팜을 사용하는 응답자들이 'a) 영어를 읽고 이해하는 데 어려움을 겪어 질문에 더 많은 시간을 소비하고' 'b) 한 번에 여러 HIT를 받고있다'는 생각과 일치한다고 지적합니다.

스피더 및주의 확인 실패를 제거한 후에도 대부분의 가짜 사례가 남아 있습니다.두 플래그의 결합을 사용하는 것은 가짜 응답자를 식별하는 수단으로 부분적으로 만 효과적입니다. 약 3/4 (76 %)의 가짜 사례가 주의력 검사와 빠른 응답 검사를 모두 통과했습니다. 속도 및 함정 질문에 기반한 제거는 크라우드 소싱 된 샘플보다 옵트 인 및 주소 모집 패널에 대해 다소 더 효과적인 것으로 보입니다. 평균적으로 이러한 플래그는 옵트 인 및 주소 모집 패널에서 가짜로 확인 된 사례의 29 %를 제거했지만 크라우드 소싱 된 샘플에서는 가짜 사례의 7 %에 불과했습니다. 요약하면,이 두 가지 일반적인 데이터 품질 검사는 도움이되는 것처럼 보이지만 대부분의 가짜 인터뷰를 제거하는 측면에서 충분하지 않은 것으로 보입니다.

설문 조사에 여러 번 참여한 응답자는 드물며 옵트 인 소스로 제한되었습니다.

또 다른 가능한 품질 검사는 두 명 이상의 응답자가 전반적으로 매우 유사한 답변을 가지고있는 경우를 찾는 것입니다. 중복 된 IP 주소를 보는 것과 유사하게, 유사한 답변 세트를 갖는 것은 같은 사람이 설문 조사에 두 번 이상 참여했음을 나타내는 지표가 될 수 있습니다.



대부분의 폐쇄 형 질문에 대해 동일한 답변을 가진 한 쌍의 인터뷰가 중복을 파악하기가 매우 까다로운 지 여부는 질문 수, 응답 옵션 수, 응답자 수 및 조사 대상 집단 내의 동질성은 두 응답자가 매우 유사한 답변을 갖는 것이 얼마나 자연스러운 지에 영향을 미칩니다. 그러나 본 연구의 설문지에도 6 개의 개방형 질문이 포함되어 있기 때문에 훨씬 더 높은 신뢰도로 잠재적 중복 응답자를 식별하는 것이 가능해졌습니다.

각 개방형 질문에 대해 연구자들은 두 텍스트 문자열 간의 유사성을 측정하는 측정 항목을 사용하여 각 응답자의 답변을 다른 모든 응답자의 답변과 비교했습니다.22이것은 6 개의 샘플 각각에 대해 개별적으로 수행되었습니다. 특정 응답자 쌍의 경우 6 개의 개방형 질문에 대한 답변 중 3 개 이상이 특정 임계 값을 초과하면 해당 쌍이 수동 검토를 위해 플래그가 지정되었습니다. 그런 다음 연구원은 각 쌍을 검토하여 여러 개방형 질문에 대한 단어 선택 및 구문을 기반으로 중복 가능성이 있는지 평가했습니다. 유사한 답변이 모두 짧고 일반적인 단어 (예 : '좋은'또는 '확실하지 않음')로 구성된 경우, 연구자들은 자신있는 결정을 내릴 수있는 어휘 내용이 충분하지 않기 때문에 중복에 대한 충분히 강력한 증거를 고려하지 않았습니다.

이 과정이 끝날 무렵 연구원들은 중복이 전체 인터뷰의 0.3 %를 차지한다는 것을 발견했습니다. 중복 발생률은 크라우드 소싱 된 샘플 (1.1 %)에서 가장 높았고, 옵트 인 샘플에서는 발생률이 0.1 ~ 0.3 %였습니다. 주소 모집 샘플에서 중복 인터뷰는 확인되지 않았습니다.

연구원들은이 개방형 답변 분석을 기반으로 중복으로 표시된 IP 주소 (3 장에서 설명)가 중복으로 표시된 인터뷰와 관련이 있는지 조사했습니다. 관계가 있었지만 IP 주소만으로 설문 조사에 여러 번 응답 한 사람들을 감지하는 것은 충분하지 않습니다. 개방형 답변에 따라 중복으로 표시된 172 명의 응답자 중 150 개의 고유 한 IP 주소가있었습니다.

개방형 질문은 설문 조사에 여러 번 참여하는 사람들을 식별하는 데 도움이되었습니다.
Facebook   twitter