O post de hoje é baseado no artigo "Quais são os elos de uma pesquisa online entre o tempo de resposta, qualidade e auto-avaliação dos esforços realizados?" escrito por Melanie Revilla (RECSM, Universidade Pompeu Fabra) e Carlos Ochoa (Netquest) que foi publicado em "Social Science Computer Review".
Iremos discutir a respeito dos 3 fatores-chave para as pesquisas online e sua correrelação: O tempo de resposta, a qualidade dos dados coletados e a auto-avaliação do esforço por parte do entrevistado. Faremos um cruzamento nas informações de tempo e esforço para descobrir como melhorar a qualiudade dos dados das pesquisas online.
Qualidade acima de tudo
Avaliar a qualidade dos dados coletados em pesquisas é uma das questões que mais preocupam os pesquisadores. Para que a informação final seja confiável é uma das chaves de um estudo de excelência e quanto tratamos de pesquisas online, esse processo torna-se crucial pois o pesquisador poderá perder o controle sobre o processo de coleta de dados.
No entanto, é possível coletar dados durante o processo da pesquisa que poderá nos ajudar a avaliar a qualidade com maior precisão. Utilizando os denominados "paradata", foi possível observar que os participantes de painéis online passavam muito menos tempo respondendo as pesquisas do que o esperado. Sem dúvida este fato preocupou os pesquisadores, pois este dado poderia repercutir diretamente na qualidade das respostas obtidas.
Estudando a correlação dos fatores
O objetivo do estudo proposto foi estimar a correlação entre o RT (tempo de resposta) em pesquisas online e a qualidade dos dados, medida através de inúmeros indicadores comuns usados em pesquisas em papel, como: protocolo adequado sobre as instruções do questionário, coerência e precisão das respostas, ausência de padrões de resposta, etc.
Os própios entrevistados auto-avaliaram seus esforços para responder. Foi utilizado um modelo de equações estruturais que permitiu separar a parte estrutural e a parte da medição, permitindo o controle potencial dos efeitos "espúrios" (terceira variável afeta duas das variáveis de interesse, por exemplo RT e qualidade, criando uma correlação entre eles, ou seja, não é causal).
Encontrou-se uma relação significativa entre RT (tempo de resposta) e qualidade dos dados nos três países estudados. Também foi encontrada outra relação (menos significativa) entre o RT e a auto-avaliação. No entanto, não encontrou-se nenhuma relação entre a auto-avaliação dos entrevistados e com a qualidade dos dados obtidos.
Conclusão: Nem todos os fatores estão inter-relacionados
Nem todos os dados estão interligados. Quanto maior o tempo de resposta, obtemos dados de melhor qualidade porém a auto-avaliação não tem relação nem com o RT nem com a qualidade dos dados para o entrevistado.
Referência:
Revilla, M. and C. Ochoa (2015). “What are the links in a web survey among response time, quality, and auto-evaluation of the efforts done?” Social Science Computer Review, 2015, Vol. 33(1) 97-114. First published online on May 14, 2014. doi:10.1177/0894439314531214
