Durante o ESOMAR WORLD em Dublin, Andrew Cannon, Diretor Executivo da GRBN me comentava: “quando eu comecei minha carreira como pesquisador a 20 anos atrás, antes de ir a campo num estudo, sempre realizávamos um piloto para testar o questionário. Agora estamos falando de pesquisas personalizadas. Hoje em dia, sem dúvida, quando vamos realizar uma pesquisa, é muito mais fácil utilizar um piloto via Internet, No entanto, hoje quase ninguém faz".
A reflexão de Andrew reforça a minha percepção que o pesquisador deixou de dar a real importância que o questionário perece, talvez esteja preocupado com a adaptação a um novo ambiente tecnológico e sob tremenda pressão de prazos e custos. O que é um GRANDE erro!
Queremos somente dados ou informação?
A velocidade é tudo, dizem os profetas da pesquisa moderna: "Eu prefiro uma dado imperfeito agora, do que um dado perfeito amanhã". Isto é verdade, "até certo ponto", pois tudo depende de quanto imperfeito é o dado. Ou estamos dispostos a aceitar um dado meramente errôneo da realidade porque necessito obtê-lo com rapidez? A exigência atual do time-to-market não pode deixar a fiabilidade da informação que coletamos em risco. A confiança da pesquisa quantitativa depende do questionário.
Fazer um excelente questionário é quase uma arte, ou, pelo menos, é um trabalho extremamente relevante e muito difícil. Tratam-se de atividades fundamentais que todo os pesquisadores devem conhecer e aplicar de maneira exemplar. Infelizmente a linguagem humana é um sistema poderoso, extremamente completo e, ocasionalmente, ambíguo.
Entrevistas cognitivas
Linda Naiditch, da Mathew Greenwald & Associates, publicou a alguns anos atrás um artigo na Revista Quirk's, sobre as virtudes que sua empresa utiliza para elaborar melhores questionários.
O ponto de partida da Linda é o famoso "não sabemos o que não queremos". Quando elaboramos um questionário, podemos escrevê-lo e revisá-lo unicamente (1) desde a perspectiva que temos do problema a ser pesquisador, (2) desde nosso conhecimento da terminologia própria do problema e, muito importante, (3) desde nossa forma de emprego de linguagem. Essas 3 vertentes podem ser muito diferentes para cada um dos indivíduos que vão ser pesquisados. O questionário pode ser interpretado de formas diferentes.
No momento de elaborar um questionário, algumas destas situações podem surgir:
- Os entrevistados não encontram uma opção de resposta que reflete sua opinião sobre uma questão particular.
- A lista de fatores que são considerados relevantes para o problema de pesquisa não inclui todos os fatores relevantes para o objetivo do cliente.
- Os respondentes pensam que um termo usado no questionário significa algo diferente do que realmente é.
- Os respondentes não interpretam por completo o propósito de uma pergunta.
- Você esqueceu de realizar alguma pergunta relevante no questionário por desconhecer o tema.
Algumas dessas questões podem ser resolvidas mediante a um estudo piloto, um estudo qualitativo prévio pedindo que outros pesquisadores revisem seu questionário.
Linda leva certo tempo implementando uma ferramenta complementária para resolver estes problemas: a entrevista cognitiva. Trata-se de um tipo de pré-test especializado, focado em descobrir a forma que o respondente pensa quando lê ou escuta as perguntas de um questionário. O objetivo é descobrir como se interpretam o significado das perguntas e possíveis respostas, o que acontece quando está pensando nas respostas, alternativas, significados, etc.
A forma que se realizam essas entrevistas cognitivas foi escrita pela primeira vez por Gordon B. Willis em sua obra “Cognitive Interviewing: A Tool For Improving Questionnaire Design”. Alguns dos métodos sugeridos por Willis são:
- Pedir que os respondentes escrevam as perguntas com sua própria linguagem.
- Pedir que expliquem ao entrevistado que pensam enquanto elaboram suas respostas.
- Perguntar que significa determinadas palavras ou frases fundamentais do questionário.
- Perguntar se determinada pergunta resulta fácil ou difícil responder e identificar o que precisa ser alterado.
- Buscar indícios que indiquem a existência de um problema ou alguma dúvida que possa surgir por parte dos respondentes.
- Formular perguntas fechadas como se fossem abertas, antes de mostrar as opções de resposta, para assegurar que estamos apresentando todas as categorias relevantes.
Exemplos
Linda, oferece vários exemplos concretos de como esta metodologia ajudou a evitar erros do passado.
Em um estudo sobre nutrição, uma das perguntas questionava quais fatores como sabor, preço, consistência, saudabilidade e "sustentabilidade" influenciava na decisão de compra. Graças a uma entrevista cognitiva, foi possível identificar que vários entrevistados interpretaram que o termo "sustentabilidade" tratava-se da validade dos alimentos frescos fora da geladeira. O pesquisador, no entanto, ao usar este termo, destina-se a perguntar sobre conotações relacionadas com os impactos ambientais, econômicos e sociais da produção de alimentos.
Outro exemplo:
Diante da seguinte pergunta: Sua pressão sanguínea é:
- Alta ou mais alta que o normal.
- Normal.
- Baixa o mais baixa que o normal.
- Não estou seguro.
... Um participante levantou a seguinte questão ao entrevistador: "Como devo responder essa pergunta se a minha pressão, naturalmente, é mais elevada do que o normal, porém como tomo medicamentos, os níveis estão normais". Muito boa pergunta, né? Vale a reflexão: O que estamos realmente medindo?
Em todos estes casos, os questionários foram formulados para remover as ambiguidades ou aprofundar algumas questões que surgem devido à forma de interpretar as perguntas.
Uma oportunidade de agregar valor aos clientes
Investir no desenvolvimento de bons questionários impacta diretamente na qualidade dos dados e nas decisões dos clientes. Incluir em uma proposta comercial a realização de serviços como foi descrito acima , mostra aos clientes uma maior garantia de cumprir seus objetivos, aumentando a chance de fechar um negócio.
Qual é o custo desta metodologia, ou seja, quantas entrevistas cognitivas são necessárias? De acordo com Linda, a realização de 5 entrevistas representam um enorme impacto sobre a qualidade do questionário. Outros autores, como Gordon B. Willis recomendam realizar entre 3 a 10 entrevistas.
Vale a pena todo esse esforço? Bom, tudo dependerá da sua capacidade de agregar valor e qualidade aos questionários para seus clientes!
Qualquer dúvida a respeito deste método, por gentileza, escreva um e-mail para: marketing@netquest.com
Obrigado por acompanhar nosso blog!
