Crowdsourcing Consumer Research
Joseph K. Goodman, Gabriele Paolacci
□ 서론
○ 소비자 연구에서 참여자의 중요도가 높음에도, 대학생위주의 편의추출이 이루어짐
- 소비자 이론은 사람의 참여를 통해 검증이 이루어져야 하므로, 가용한 실험 참가자가 매우 중요함
- 연구자들은 종종 편의표본 추출 방법을 사용해 대학원생들에 의존하며, 외부타당성에 있어 의문이 제기되어옴
○ 크라우드소싱 방식의 연구 참여자 모집이 가능해짐
- 최근에는 인터넷을 통해 실험참여자를 모집하고 데이터를 수집하는 크라우드소싱이 등장했음
- 2012.6~2016.4 기간 JCR에 발표된 서베이의 27%가 MTurk를 활용했으며, 지속적으로 늘고 있음
○ 크라우드소싱 방식에 대한 논란
- 참여자의 행동 제어가 불가능하며, 참여자가 직접 연구를 선택하고 언제든지 그만둘 수 있음
- 참여자들이 다양한 사회과학 연구를 경험했기 때문에, 타당상에 문제가 있을 수 있음
- 학문의 영역에서 볼 때, 크라우드소싱의 편의성으로 여기에 적합한 연구만 증가할 수 있음
○ 연구의 제안
- 크라우드소싱 참여인력에 대한 신뢰성, 타당성을 평가하고, 연구자를 위한 데이터 수집 전략을 제안
§ MTurk를 활용하면 좋은점에 대해 논의(편의성 뿐 만 아니라, 품질 또한 높아질 수 있음)
§ MTurk를 활용할 때 문제가 될 수 있는 점을 논의
§ 연구자들이 MTurk의 이점을 활용하고 단점을 줄일 수 있는 구체적인 가이드라인 제공
□ MTurk 참여자
- 인터넷을 통한 데이터 수집은 1990년대부터 시작되었으며, 2000년대에 크라우드소싱이 시작됨
- 참여자의 대다수는 미국에 거주하며, 평균 연령은 33.5세로 남녀가 균등함
§ 전체의 60%는 백인, 35% 결혼, 10% LGB
- 참여자의 50%는 정규직의 다양한 직업을 가지고 있으며, 10% 이하가 무직임
§ 전체의 90%가 대학 경험이 있으며, 적어도 절반은 학위를 가지고 있음(수익 3만불 ~ 5만불)
- 참여의 목적은 대부분 부업임
□ 크라우드소싱의 이점
○ 비용감소
- 크라우드 소싱은 연구실로 부르는 경우 드는 통근비가 절약되고, 보다 효율적인 시간관리가 가능함
§ 참여자 모집 홍보비용, 미팅시간 조율 비용, 조교관리 비용, 세금처리 등의 비용이 감소됨
§ 절감된 비용은 연구자에게 새로운 기회를 제공함
§ 대규모 탐색연구를 가능하게 함
§ 대규모 샘플을 통해 유용한 정보를 주는 보강연구를 할 수 있음
§ 연구실이 없는 학자들에게도 실증적 연구를 할 수 있는 기회를 제공함
○ 다양한 연구 참여자
- 참여자들인 매우 다양하고 학력이 높은 편이며, 특정 조건에 따라 선정이 가능함
§ 예: 특정 제품을 가지고 있는 사람, 구체적인 인구통계 조건
- MTurk의 참여자들은 연구 이론에 따른 샘플링이 가능할 정도로 다양함
- 모집단의 일부를 표본으로 삼지 않아도 됨(미국 상위 대학원생 -> 다양한 국가의 대학원생)
○ 유연성
- 연구실에서 대면 조사보다 컴퓨터를 통해서만 이루어지므로 제약조건이 적어 상대적으로 유연함
- 종단적 연구에도 활용될 수 있음
§ 참여자의 유지는 보상에 달려있으며, 70%는 주, 달 간격으로도 유지됨, 1년 이후에는 44%가 유지됨
§ MTurk은 연락, 동기부여, 보상의 편의성으로 종단적 연구 진행이 편리함
- 비교문화 연구에도 활용될 수 있음
- 연구자는 참여자와 실시간 의사소통이 가능하며, 온라인으로 게임, 웹기반 솔루션 등을 활용할 수 있음
§ 고도로 커스터마이징된 템플릿을 사용할 수 있으며, 다수와 그룹으로 의사소통할 수도 있음
- MTurk을 연구의 장으로 이용하기도 함(웹캠, eye tracker 등으로 다양한 데이터를 수집하여 크라우드 소싱 연구)
○ 데이터 품질
- 우려와 달리 MTurk의 인센티브 체계덕분에 다른 서베이에 비해 높은 데이터 품질을 가지고 있음
§ 참여자는 서베이에 신청을 하면, 연구자가 거절을 하거나 보상을 거절할 수 있음
§ 참여자는 문제 발생시 MTurk 활동이 제한되므로, 기회주의적으로 활동할 수 없음
□ 크라우드소싱의 이슈
○ 표본의 대표성
- 참여자가 다양하지만, 그들만의 고유한 특성이 있을 수 있음(내향적이며, 사회적 불안을 가짐)
○ 참여자가 연구를 선택
- 참여자는 자신이 직접 연구를 선택할 수 있으며, 보상에 영향을 받음
§ 보상이 높은 연구는 reddit 등의 커뮤니티에 올라가기도 하고, 이런 경우 사람이 몰려 편향이 생길 수 있음
§ 연구자가 일을 올리는 시간에 따라서도 참여자가 편향될 수 있음(밤에는 솔로가 휴대폰으로 하는 경우가 많음)
- 연구 분야에 관심 있는 참여자들이 참여하며, 참여 전 설문 문항을 살펴보고 그만둘 수 있음(랜덤화가 안됨)
- 세부적 조건의 연구는 보상이 높아서, 조건이 맞지 않는 참여자가 속이고 신청할 염려가 있음(구찌 백 있는 사람)
○ 참여자의 학습
- MTurk의 작업자는 제한적인데, 매일 수천 개의 연구가 진행됨에 따라, 참여자들이 사회과학에 익숙해질 수 있음
§ 10%의 상위 작업자는 41%의 연구 샘플을 책임지고 있음
- 작업자들이 MTurk 포럼에서 연구에 관한 정보를 공유할 수도 있음
□ MTurk 활용 가이드라인
○ 참여자의 직접선택 위험을 최소화
- 연구의 세부적인 내용보다는 일반적인 내용으로 작성하며, 참여자 필터를 최대한 활용(승인률 95%)
- 필터로 거를 수 없는 조건(브랜드 태도)은 이전 연구에서 해당 질문을 하고 관련 참여자ID를 DB화
○ 참여자의 비 선택 손실을 방지
- 설문을 미리 보지 못하게 해서, 참여자들이 최초 투자를 통해 떠나가지 못하게 함(설명도 모호하게)
- 이탈률, 완료율 등의 지표를 툴로 확인하고 체크야 함
○ 참여자를 관리
- 작업자의 질문에 즉각적으로 답변하며, 정해진 가이드에 따르지 않으면 MTurk에서 금지될 것을 경고
- MTurk 관련 커뮤니티의 내용을 모니터링해서, 참여자들의 행동을 확인해야 함
○ 참여자의 학습효과 방지
- 관련 연구에 참여했던 참여자들을 필터를 통해서 걸러내야 하며, 이미 들어봤을 법한 단어, 이론을 지양
- MTurk에서는 작업자가 참여했던 목록 파일을 확인할 수 있음
○ 공정한 보상
- 보상수준이 데이터 품질에 영향을 미치지 않는 다는 연구가 있지만, 연구자의 평판이 작업자들에게 인지됨
- 연구자의 낮은 평판은 참여가 적어지고, 데이터 품질에까지 영향을 미칠 수 있음, 공정하게 보상해야 함
○ 샘플의 다양화
- 학생부터 MTurk 작업자까지 표본의 고유성이 있으므로 최대한 다양화해야 함
○ 윤리적으로 행동
- MTurk 학자와 작업자가 만든 윤리적 요청사항
§ 1. 명확히 연구자 정보, 2. 정확한 업무 소요시간 명시, 3. 빠른 승낙, 4. 블록하지 않기, 5. 의사소통 채널 유지, 6.
공정한 보상
○ 샘플에 대해 알리기
- 연구자는 자신의 샘플에 대해 자세히 리포트 해야 함(보상, 국가, 승낙률)
□ 결론
- 연구가 웹 기반으로 변화하고 있으며, MTurk는 효율적인 연구를 가능하게 해줌
§ 더 많은 연구와 유용한 연구를 할 수 있으며, 연구도 다양해질 수 있음
- 하지만 온라인 연구의 특징적인 위험을 무시하지 말고 관리해야 함