시장 조사 패널은 연구자들에게 수백만 명의 참가자에게 접근할 수 있는 기회를 제공하며, 도달하기 어려운 그룹을 참여시키는 데 능숙합니다. 그러나 현재 그들의 사용은 심리학 연구의 15%에도 미치지 못합니다.
인구 수준의 행정 데이터는 전향적 연구를 위한 저렴하고 상세한 정보 출처를 제공합니다.
글로벌 포지셔닝 시스템(GPS)의 데이터는 심박수나 삶의 만족도와 같은 다른 유형의 데이터와 통합될 수 있으며, 상관관계 및 회귀와 같은 익숙한 통계 방법으로 분석될 수 있습니다.
연구자들이 비전통적인 데이터 출처를 사용할 때는 특별한 윤리적 고려 및 데이터 품질 고려가 필요할 수 있습니다.
학제 간 협업에 참여함으로써 연구자들은 비전통적인 데이터 출처의 사용을 포함하여 새로운 연구 접근 방식에 노출될 가능성이 높아집니다.
행정 데이터는 드문 결과와 장기적 결과에 대한 연구를 지원합니다 • GPS 데이터는 이동 행동에 대한 새로운 통찰을 제공할 수 있습니다 • 학제 간 작업은 혁신적인 사고를 유도합니다
2000년대 초 뉴욕대학교(NYU)에서 실험 심리를 연구하는 박사후 연구원이었던 Leib Litman은 그의 에피소드 기억에 대한 대규모 연구를 위해 참가자를 찾는 데 아무 문제도 없었습니다.
“NYU는 정말 큰 곳입니다,” Litman은 Observer와의 인터뷰에서 말했습니다. “전국의 어떤 시기에도 언제든지 접근할 수 있는 학부생 참가자 풀은 끝이 없습니다. 여름을 제외하고는 참가자를 모집하는 데 약간 더 어려운 일이 있습니다.”
하지만 나중에 작은 사립 대학의 교수직으로 옮겼을 때, 그는 대규모 학생들에게 접근할 수 있는 것이 더 이상 그에게 주어지지 않는 사치라는 것을 깨달았습니다. 그의 연구를 위한 참가자의 필요성은 Litman과 컴퓨터 과학 동료인 Jonathan Robinson이 참가자 식별 프로세스를 가속화하는 온라인 도구 모음을 만들도록 이끌었습니다.
“우리가 온라인에서 연구를 수행하고 1시간 만에 500명을 모집하던 첫 번째 순간을 결코 잊지 못할 것”이라고 Litman은 말했습니다. “그것은 내가 과학에서 완전한 혁명이 일어났다는 것을 깨달은 인생을 바꾸는 순간 중 하나였습니다.”
Litman은 이제 CloudResearch의 공동 창립자이자 최고 연구 책임자이며, Touro University의 Lander College에서 심리학 교수로 활동하고 있습니다.
개인 연구 문제에 대한 해결책으로 시작된 것은 이제 5,000개 이상의 기관에서 수만 명의 연구자들에게 서비스를 제공합니다. Litman은 약 10년 전 APS 연례 대회에서 이 프로젝트를 연구 커뮤니티에 공개했을 때의 첫 순간을 기억합니다.
“그건 서 있는 자리밖에 없었습니다,” 그는 말했습니다. “사람들은 매우, 매우 관심이 많았습니다. 왜냐하면 제가 겪고 있는 문제들이 누구에게나 해당되기 때문입니다.”
그 이후로 온라인 연구는 심리학 연구의 일반적인 방식이 되었으며, CloudResearch의 Connect는 리서처들이 참가자를 모집하기 위해 자주 찾는 주요 플랫폼 중 하나입니다. 그러나 CloudResearch는 Litman이 행동 연구에 주로 활용되지 않았다고 믿는 참가자를 찾기 위한 또 다른 옵션인 시장 조사 패널을 제공합니다.
CloudResearch는 Prime Panels 플랫폼을 통해 300개의 시장 조사 패널에서 1억 명 이상의 참가자를 집계하며 이는 Connect에서 약 100,000명이 이용 가능한 수를 초과하는 참여자 풀입니다.
그럼에도 불구하고 Litman은 심리학 연구에서 참가자를 모집하기 위해 시장 조사 패널을 찾는 비율은 약 10%~15%에 불과하다고 추정합니다. 이는 정치학과 같은 다른 분야에서는 더 일반적입니다.
최근 Advances in Methods and Practices in Psychological Science에서 Litman과 그의 동료들은 행동 과학에서 시장 조사 패널을 사용하는 최선의 방법을 제공하는 튜토리얼을 발표하여 연구자들이 패널이 그들의 연구에 적합한 접근 방식인지 결정하는 데 도움을 주었습니다 (Moss et al., 2023).
패널은 특정 제품에 대한 소비자 행동 및 인식을 이해하기 위해 참가자를 모집하기 위한 목적으로 시장 조사 플랫폼에 의해 운영됩니다. 이들은 접근 방식이 다양하지만 일반적으로 참여를 장려하는 보상 프로그램을 포함합니다. 패널은 인구 통계 세그먼트, 지리적 지역 또는 언어별 모집과 같은 요소에 따라 다르게 구성된 특정 인구 집단을 목표로 삼습니다. 또한 연구자들은 전 세계 대부분의 국가에서 참가자를 샘플링할 수 있습니다.
“여러 플랫폼을 통해 집계하는 주된 이점은 어떤 단일 플랫폼에서도 맞출 수 없는 규모로 사람들에게 도달할 수 있는 능력입니다,” Litman은 말했습니다. “임상 참가자 또는 특정 도시나 우편번호 지역 내의 참가자를 찾는 경우처럼요. 소비자 연구의 경우, 매우 특정한 방식으로 제품을 사용하는 사람들을 찾을 수 있습니다.”
시장 조사 패널을 사용할 때의 도전은 플랫폼에 대한 제어가 부족하여 데이터 품질 문제를 일으킬 수 있다는 점입니다. 연구자들은 참가자에게 얼마나 많은 보상을 주는지 제어하지 못하며, 사기 참가자를 제거하기 위해 신중하게 검토해야 합니다.
“데이터 정리 작업이 충분하지 않아 잘못된 정보만 포함된 논문이 많습니다,” Litman은 말했습니다.
CloudResearch는 각 참가자가 설문조사에 들어가기 전에 기술 및 행동적 특성을 검사하여 저품질 및 사기 응답을 자동으로 필터링하는 Sentry라는 도구를 만들어 데이터 품질 문제를 해결했습니다. 이 도구는 참가자당 약 20초가 소요되며, 패널 트래픽의 약 30%를 필터링합니다. 그럼에도 불구하고 연구자의 주의는 필수입니다.
“대부분의 사기는 이 메커니즘을 통해 제거됩니다,” Litman은 말했습니다. “하지만 우리가 할 수 있는 만큼만 할 수 있으며, 그래서 CloudResearch와 연구자 간의 파트너십입니다.”
Litman은 지난 10년 동안 심리학 연구의 환경이 급격히 변화했으며, 온라인 연구가 사회 과학에서 가능한 것을 혁신했다고 보지만, 참가자 접근의 용이함이 연구자들이 문제를 해결해야 하는 새로운 도전으로 이어진다고 강조합니다.
“정확히 수행되어야 하며, 그렇지 않으면 과학과 대중에 잘못된 정보를 줄 위험이 있습니다,” 그는 말했습니다.
행정 데이터는 드문 결과와 장기적 결과에 대한 연구를 지원합니다
심리학자들이 덜 선택하는 또 다른 방법론적 접근은 행정 시스템에서 데이터를 사용하는 것입니다. 이 데이터는 개인이 건강 관리, 사회 복지, 범죄 사법 및 교육과 같은 정부 및 민간 행정 시스템과 상호 작용하면서 생성됩니다.
미국에서는 여러 대규모 행정 시스템이 연구를 위해 설계되어 있으며, 여기에는 국가 생명 통계 시스템의 출생 및 사망 기록, 국가 교육 통계 센터의 학교 시험 점수, 보훈청의 건강 관리 서비스 이용 등이 포함됩니다. 이러한 데이터 중 일부는 공개적으로 제공되지만, 민감한 정보는 접근이 제한되고 연구자들이 따라야 할 특정 프로토콜이 있습니다.
미시간 대학교의 심리학 조교수이자 2024 APS Janet Taylor Spence Award 수상자인 Leah Richmond-Rakerd는 대학원 연구 동안 역학 조사 데이터와 작업하면서 행정 데이터의 강력함에 처음으로 관심을 가지게 되었습니다.
“그것은 대표 샘플링과 같은 것들의 이점을 소개하고, 인구 하위 그룹이나 시간이 지날수록 연관성을 연구하기 위해 대규모 데이터 소스를 작업할 수 있는 기회를 제공하는 데 정말 도움이 되었습니다,” Richmond-Rakerd는 Observer와의 인터뷰에서 말했습니다.
2024년 Spence 수상자에 대해 더 알아보세요.
Richmond-Rakerd와 그녀의 동료들은 최근 Current Directions in Psychological Science에 논문을 발표하여 심리학 연구를 위한 인구 수준의 행정 데이터를 사용함으로써 얻을 수 있는 몇 가지 뚜렷하고 대체로 활용되지 않은 이점들을 설명했습니다.
첫째, 데이터 수집은 비용이 많이 들며, 특히 대규모로 또는 오랜 기간 동안 수행할 경우 그렇습니다. 그리고 전향적 연구의 경우 샘플이 일관되게 유지되도록 하는 것이 어려울 수 있습니다.
“만약 우리가 시간 경과에 따른 사람들에 대한 연구를 진행하고 있다면, 그들은 시간이 지남에 따라 연구에서 탈락할 수 있으며, 우리는 그들과 그들의 정보에 대한 접근을 잃을 수 있습니다,” 그녀는 말했습니다.
반대로, 행정 데이터는 종종 연구자에게 비용 없이 접근할 수 있습니다. 그리고 행정 데이터는 특정 사건의 시점에 대한 상세 정보를 제공하기 때문에—예를 들어, 새로운 약물이 처방되는 시간—특정 결과에 기여한 요인을 정확히 파악할 수 있습니다.
이 데이터는 또한 인구에서 드문 상태를 연구할 수 있는 기회를 제공합니다. 예를 들어, 조현병이나 자살 사망률 같은 상태입니다.
“연구자들이 이러한 종류의 것들에 관심이 있을 때, 그들은 종종 충분한 숫자의 사람들을 확보하기 위해 더 선별된 샘플을 찾는 경우가 많습니다,” Richmond-Rakerd는 말했습니다. “하지만 인구 수준의 행정 데이터에서, 연구자들은 여전히 대표 데이터 소스를 작업하면서 이러한 종류의 낮은 유병률 상태를 연구할 수 있습니다.”
행정 데이터를 사용하는 연구자들을 위한 또 다른 독특한 기회는 해당 정보를 주거 정보 또는 대규모 환경 특성을 포함하는 다른 데이터 세트와 연결하는 것입니다. 예를 들어, Richmond-Rakerd는 버지니아 대학교, 듀크 대학교, 오클랜드 대학교 및 오타고 대학교의 동료들과 함께 치매 위험과 개인이 거주하는 동네의 특성 간의 연관성을 연구했습니다.
“우리는 아직 미국에서 전국 단위에서 개인 차원에서 다양한 시스템과 상호작용하는 정보에 대한 연결 능력이 없습니다,” Richmond-Rakerd는 말했습니다. “그러나 이러한 종류의 인구 수준 행정 데이터 소스는 뉴질랜드 및 덴마크와 같은 다른 국가에는 존재합니다.”
대규모 데이터 세트는 문제를 동반합니다. 예를 들어, 사회적 정체성에 대한 정보는 체계적이거나 정확하게 측정되지 않을 수 있습니다.
“행정 데이터는 전통적으로 연구를 위해 구체적으로 수집되지 않습니다,” 그녀는 분명히 했습니다. “이 데이터는 다양한 공공 서비스의 수행 또는 제공의 일환으로 기록됩니다.”
GPS 데이터는 이동 행동에 대한 새로운 통찰을 제공할 수 있습니다
위치 기반 데이터는 심리학 연구를 위해 사용되는 새로운 데이터 소스의 최근 물결에도 포함되었습니다. 연구자들은 최근 GPS 데이터를 행동 연구에 통합하는 방법을 실험하기 시작하여 이동 패턴과 방문한 위치를 추적하고 있습니다.
학제 간 작업은 혁신적인 사고를 유도합니다
샤론 코프먼(Sharon Koppman) 사회학자이자 캘리포니아 대학교 어바인의 폴 메리지 경영대학의 부교수는 학제 간 환경이 혁신에 미치는 영향을 관찰해왔습니다: 그녀의 연구에서, 그녀는 다른 학문에 대한 접근이 새롭고 독창적인 방식으로 슬며시 들어오는 것을 허용하는 경우가 많다고 발견했습니다.
Koppman과 그녀의 동료 에린 리히(Erin Leahey)는 애리조나 대학교의 사회학 교수로서 연구에서 비전통적 방법을 채택하게 하는 요인을 조사하기 위해 자신들의 사회학 분야를 살펴보았습니다. 사회학 박사 학위를 가진 개인들을 대상으로 한 연구에서, 연구자들은 경력에서 더 높은 지위를 가진 참가자들이 더 낮은 지위를 가진 참가자들보다 비전통적 방법을 시도할 가능성이 더 높다는 것을 발견했습니다. 이 경우 높은 지위를 가진 참가자들은 주로 최고급 대학과 연관된 남성들였습니다.
“그들은 더 혁신적이고 실패할 가능성도 더 높습니다,” Koppman은 Observer와의 인터뷰에서 말했습니다. “하지만 그들은 이미 어느 정도 성공을 이루었고, 그래서 그들의 실패는 그들에게 큰 영향을 미치지 않습니다.”
Koppman은 일부 분야의 연구자들이 다른 분야의 연구자들보다 새로운 접근을 시도할 가능성이 더 높으며, 이러한 접근이 종종 해당 분야의 정의에 의해 영향을 받을 수 있다고 말했습니다. 특정 방법(예: 인류학의 민족지적 접근)에 크게 의존하는 분야의 경우, 새로운 접근을 시도하는 것은 그 분야에서 작업하는 것의 정의를 변경하는 것처럼 느껴질 수 있습니다. Koppman은 여러 분야의 관점을 포함하는 학과를 구축함으로써 기관들이 과학자들이 새로운 방법, 데이터 소스 및 연구 접근 방식에 익숙해지도록 할 수 있다고 믿습니다.
GPS 데이터는 심박수나 삶의 만족도와 같은 다른 유형의 데이터와 통합될 수 있으며, 상관관계 및 회귀와 같은 익숙한 통계 방법으로 분석될 수 있습니다. 그러나 연구자들은 이러한 데이터를 효과적으로 사용하기 위한 특정 기술세트가 필요합니다.
2022년 튜토리얼 논문에서 Sandrine Müller 및 동료들은 이러한 데이터와 관련된 문제(예: 개인 정보 보호 문제 및 이동 패턴의 심리적 함의를 해석하는 방법)를 관리하는 방법을 설명합니다 (Müller et al., 2022).
시장 조사 패널과 마찬가지로 GPS 데이터도 분석되기 전에 특정 데이터 품질 프로세스를 요구합니다. 연구자들은 위성 연결의 중단과 같은 빈번한 기술 문제로 인해 발생할 수 있는 부정확한 GPS 기록을 식별하고 제거해야 합니다.
GPS 데이터의 윤리적 사용을 보장하기 위해 연구자들은 데이터가 어떻게 안전하게 보관되고 참가자 식별자와 분리되는지에 특별한 주의를 기울여야 합니다. 여기에는 참가자의 거주지 및 직장 위치의 좌표를 제거하고 정확한 위치를 모호하게 하는 레이블을 지정하는 것이 포함됩니다.
Richmond-Rakerd는 또한 행정 데이터에 의존할 때의 독특한 윤리적 고려사항을 강조했습니다. 그녀는 데이터 세트와 관계를 맺기 전에 연구 질문 및 가설을 개발하는 등 이러한 데이터를 사용할 때 책임 있는 연구 관행을 사용하는 것이 중요하다고 강조했습니다.
“행정 데이터와 작업할 때, 여러분은 종종 매우 대규모 데이터 리소스를 작업하고 있기 때문에 대부분의 연관성은 통계적으로 유의미할 것이라는 점을 염두에 두는 것이 중요합니다,” 그녀는 말하며 효과 크기에 집중하는 것이 더 유용할 수 있다고 덧붙였습니다.
연구자들이 비전통적 데이터 소스를 가장 효과적으로 사용하는 방법을 계속 배우면서, 그들은 자신의 분야에 있는 사람들과 배운 교훈을 공유하고, 다른 분야의 협력 연구자들과도 공유합니다. Richmond-Rakerd는 심리학자들이 경제학 및 건강과 같은 분야의 연구자들과 협력함에 따라 행정 데이터 세트 사용이 더 일반화될 것이라고 예상합니다. 이러한 연구는 미국 외부에서도 더 흔하게 사용됩니다.
“더 많은 학제 간 협력은 새로운 이론적 또는 방법론적 관점을 도입하는 데만 유익한 것이 아니라, 심리학자들에게 이러한 종류의 데이터 리소스와 작업하는 더 많은 경험과 훈련을 얻을 수 있는 기회를 제공합니다,” Richmond-Rakerd가 말했습니다.
이 기사에 대한 의견이 있으신가요? 이메일 apsobserver@psychologicalscience.org 또는 로그인하여 댓글을 남겨주세요.
참고 문헌
Koppman, S. & Leahey, E. (2019). Who moves to the methodological edge? Factors that encourage scientists to use unconventional methods. Research Policy, 48(9), Article 103807. https://doi.org/10.1016/j.respol.2019.103807
Moss, A. J., Hauser, D. J., Rosenzweig, C., Jaffe, S., Robinson, J., & Litman, L. (2023). Using market-research panels for behavioral science: An overview and tutorial. Advances in Methods and Practices in Psychological Science, 6(2). https://doi.org/10.1177/25152459221140388
Müller, S. R., Bayer, J. B., Ross, M. Q., Mount, J., Stachl, C., Harari, G. M., Yung-Ju, C., & Huyen, H. T. (2022). Analyzing GPS data for psychological research: a tutorial. Advances in Methods and Practices in Psychological Science, 5(2). https://doi.org/10.1177/25152459221082680
Richmond-Rakerd, L. S., Dent, K. R., Andersen, S. H., D’Souza, S., & Milne, B. J. (2024). Population-level administrative data: A resource to advance psychological science. Current Directions in Psychological Science. https://doi.org/10.1177/09637214241275570
