Como deve ser um bom desenho? Como vamos eleger as combinações de atributos/níveis correspondentes para cada pergunta? Para descobrir como ter um bom desenho vamos analisar 3 critérios: balanço, ortogonalidade e equilíbrio posicional. É necessário entender como combinar os 3 critérios e ter um resultado objetivo, que nos permita comparar e selecionar qual é o melhor desenho dentro das possiblidades.
Balanço
Um desenho está balanceado quando os diferentes níveis de cada atributo aparecem o mesmo número de vezes. Em um estudo Conjoint sobre carros, definimos que os níveis de cores seriam: vermelho, branco e preto. Isso significa que todos os participantes iriam ver carros nas cores vermelho branco e preto.
Precisamos de desenhos balanceados, o mais equilibrado possível. Cada vez que mostramos um produto com um nível concreto de atributo, estamos obtendo informação deste nível. Se mostrarmos o mesmo nível de forma repetida, é possível garantir que estamos recebendo informações semelhantes em todos os níveis. Os resultados de um nível será preciso e os demais totalmente ineficazes.
Ortogonalidade
Um desenho é ortogonal quando a quantidade de vezes que um nível de um atributo é comparado com todos os outros níveis de atributos se resulta igual ou proporcional. Assim, usando o exemplo dos carros, se temos um atributo de cor com 3 níveis (vermelho, branco e preto) e um atributo de potência (80cv, 120cv) com dois níveis, gostaríamos que os produtos exibidos durante o experimento apareçam o mesmo número de vezes nas seguintes combinações:
Vermelho – 80CV
Vermelho – 120CV
Branco – 80CV
Branco – 120CV
Preto – 80CV
Preto – 120CV
O critério de ortogonalidade garante que não se confunda os atributos com os cálculo dos lucros. Manter proporcionalmente as combinações evita a correlação entre atributos. No nosso exemplo, se mostrarmos a cor preta junto com o poder 80cv, como vamos saber se um participante escolheu o produto pela cor ou pela potência? Ou seja, precisamos que os desenhos sejam os mais ortogonais possíveis.
Equilíbrio posicional
Durante o experimento, mostraremos alguns produtos (cada um com sua combinação de níveis de diferentes atributos) e pediremos ao entrevistado para nos contar a sua opção preferida. Às vezes, resposta do participante pode ser impactada pela ordem em que mostramos os produtos.
Por exemplo, os itens mostrados na primeira posição tendem a receber mais atenção do participante e são selecionados com mais frequência. É o famoso "viés de ordem" que afeta qualquer questão em algumas opções de resposta aos questionários.
No caso do Conjoint, queremos evitar que um nível de um atributo apareça na primeira posição mais vezes do que o outro. O ideal é todos os níveis aparecerem em diferentes posições. Este processo é conhecido como equilíbrio posicional.
O equilíbrio de posicionamento tem um impacto sobre a análise menor que os outros dois critérios, por isso tende a receber menos atenção. Na verdade, é costume não incluir no projeto as posições exatas em que os atributos de níveis deverão aparecer. Normalmente o próprio software de pesquisa seleciona a ordem das alternativas. Desta maneira, é suficiente para evitar o viés de ordem ocorra.
Eficiência
Nem sempre podemos obter um desenho perfeitamente equilibrado e ortogonal. Dependendo do número e níveis de atributos, alternativas ou entrevistado por sets, pode haver um desenho não muito perfeito. Visando obter o melhor desenho possível, mais equilibrado e ortogonal possível, necessitamos de uma medição que nos diga qual desenho é melhor do que o outro. Essa medida existe e é conhecida como eficiência.
Um desenho eficiente obtém os melhores dados e se calcula com mais precisão os atributos ganhos.
Existem várias maneiras de calcular a eficiência. É um cálculo matemático - bastante complexo - que desenvolvemos no final deste post para não interferir com a explicação. Abaixo segue uma ideia de como ele é calculado:
- Se calcular uma matriz descrevendo o desenho, ou seja, reconstruindo como os níveis e atributos foram combinados.
- Calcula-se a matriz de informações do desenho. Esta matriz nos indica com que frequência uma combinação de níveis está se repetindo.
- Calculamos uma medida de dispersão dos valores da matriz. Queremos que o desenho nos mostre todas as combinações de um número diversas vezes.
Existem diferentes medidas de eficiência. A mais popular é a eficiência-D. Se temos a relação balanceada e ortogonal, estamos mais próximos de ter 100% da eficiência-D normalizada. Caso contrário, resultará em 0%, que significa que a utilidade de algum atributo se confunde com outro nível.
Representação de um desenho
Para finalizar este post, explicamos como um desenho deve ser representado. Esta representação terá utilidade tanto para a programação do questionário online para calcular a eficiência do desenho, como explicamos no anexo desse post.
A maneira usual para representar um desenho é em forma de matriz. Essa matriz:
- tanto as linhas como os produtos são mostrados no desenho.
- tanto as colunas como os atributos têm produtos porém algumas colunas indicam a posição que cada produto ocupa na experiência do usuário.
Vamos ver um exemplo de como seria essa matriz. Imaginamos nosso estudo Conjoint sobre carros. Considere um desenho que tem duas versões, 3 sets por entrevistado e 3 alternativas por set. O desenho que nós queremos tem um total de 18 produtos: 2 versões x 3 séries x 3 produtos em cada set.
Imaginem que este estudo Conjoint contempla 3 atributos:
- Cores (vermelho=1, branco=2, preto=3)
- Marca (VW=1, Renault=2, Seat=3)
- Preço (10.000$=1, 15.000$=2, 20.000$=3).
Se você olhar para a lista de atributos acima, percebemos um código para cada nível de atributo. O vermelho tem o código 1, branco 2 e preto 3. Usando esses códigos, podemos dizer que um carro vermelho Renault de 15.000$, podendo ser codificado como 1.2.2. A primeira posição indica a cor, a segunda marca e a terceira o preço.
Usando esta nomenclatura, podemos expressar um desenho com uma matriz. Basta colocar produtos em linhas e transformar os atributos nos códigos correspondentes. Por exemplo:
Nós temos uma matriz numérica que descreve o desenho. Todas as informações do experimento estão aqui. Note que nós adicionamos 3 colunas para a matriz. Essas colunas nos indicam a versão do produto, em qual dos sets que aparecerá e que posição ocupará dentro do set.
No próximo post vamos explicar como essa medida de eficiência pode ser usada para encontrar bons algoritmos. Esperamos por você!
- - - - -
Anexo: Só para matemáticos...
Se você está interessado em matemática, aqui segue uma breve explicação de como calcular a eficiência de um desenho. Este conteúdo não é necessário para entender todos os próximos posts.
O ponto de partida é a matriz que descreve o desenho. Para o cálculo da eficiência, ignoramos as colunas indicando versão, sets e posição e ficamos com uma matriz simples, contendo apenas os produtos. Iremos chamá-la de matriz X. Por exemplo:
Cada coluna da matriz representa um atributo de número e cada coluna representa um nível de atributo que precisa de uma codificação conveniente ao seu propósito. Por exemplo, podemos utilizar uma coluna diferente para cada nível de atributo. O valor de 1 em uma coluna indica que o nível correspondente está presente e o valor 0 indica que ele não está. De acordo com esta codificação, as colunas de nossa matriz resultariam em 3 colunas.
Esta codificação recebe o nome de "indicadores de codificação" (indicador coding). Existem alternativas para codificar matriz X. Na verdade esta forma não é a melhor, mas serve para ilustrar a ideia de eficiência.
Agora vamos calcular a expressão: X'X. É conhecido como matriz transposta, que se obtém através da troca de linhas por colunas. Essa matriz contém o desenho, conhecido como: informação da matriz (information matrix). De fato é uma grande quantidade de informações.
Esta matriz simétrica contém toda a informação sobre quais combinações de níveis estão presentes no desenho. Tem números de linhas / colunas igual à soma dos níveis de atributos. E cada linha / coluna tem informações sobre o nível correspondente. Nós vamos analisar uma parte da matriz utilizando um par de números (i, j), onde i é a linha e j é a coluna.
Se queremos ver como está combinando o nível "cor - preta" ao nível "preço - 20000 $", devemos considerar que o preto ocupa posição 3 nos níveis de preço e US $ 20.000 a posição 9. Olhando a célula (3,9) - ou (9.3), uma vez que eles são os mesmos -, veremos que aparece o valor 1, isso significa que no experimento aparece apenas uma vez o carro preto que custa US $ 20.000. A afirmativa é correta, pois podemos o 6º produto no desenho é o 3 2 3, o que corresponde a um carro preto, Renault de US $ 20.000.
Observem que a diagonal da matriz está ocupada pelo número 3. O que isso significa? A diagonal da matriz está ocupada pelo número 3. O que isso significa? A diagonal percorre o número de vezes que um atributo se combina consigo mesmo. Por exemplo, se olharmos para a célula (4,4), o número encontrado (3) são às vezes em que a marca VW aparece no desenho. Ela aparece nos produtos 1,2 e 3.
Observamos também que poderão aparecer alguns zeros dentro da matriz, como na célula (1,2). Isso ocorre pois o atributo na primeira posição é a cor vermelha e o segundo é branco, ou seja, ou o carro é vermelho ou ele é branco. Com isso, as submatrizes correspondentes aos elementos fora da diganal são sempre 0, conforme ilustra o diagrama abaixo:
Até agora usamos exemplos ótimos, combinando com todos os níveis de atributos o mesmo número de vezes. Agora vamos ver um exemplo de uma alteração de algum produto do desenho original. Vamos alterar a cor do primeiro produto de vermelho (1) para branco (2). Ou seja, alterar o produto 1 1 3 por 2 2 3. Calcularemos a matriz do desenho e avaliamos a matriz da informação:
Nota-se que as linhas (e colunas) alteradas são a primeira e a segunda. Excluímos um produto com o nível 1 e o substituímos por outro de nível 2. Observamos que a célula (1,1) passou para 3 2, e (2,2) para 3 a 4. Também ocorreu outras alterações, por exemplo, a célula (1,9) tem um 0, indicando que este desenho não combina nenhuma vez com a cor preta e o preço de US $ 20.000.
Obviamente, este projeto é pior do que o último. A eficiência é justamente à medida que nos diz qual matriz de informação é a melhor. Acontece que a variância-covariância dos utilitários que estimamos pelo Conjoint é proporcional ao inverso da matriz de informação, ou seja, (X’X)-1.. Na verdade é σ2(X’X)-1, onde σ2 é uma constante desconhecida que depende dos dados que coletamos no experimento.
Portanto, a precisão em nossas estimativas dependerá da dispersão resultante das respostas dos dados do nosso desenho. Para que o desenho seja o mais focado possível, devemos minimizar (X’X)-1.
(X’X)-1 é uma matriz e não um valor. Temos uma ferramenta matemática que nos permite transformar uma matriz vista como um conjunto de pontos. Se seus valores são altos, a matriz será grande. A média dos valores é uma medida de síntese de seu tamanho e usado para medir a eficiência do desenho. Precisamos de uma média baixa de valores próprios. Dependendo do tipo de média, estamos falando de diferentes tipos de eficiência:
- Eficiência-A: valores médios simples. Somam-se os valores e se divide pelo número de valores.
- Eficência-D: média geométrica de valores próprios. Os valores são multiplicados e se extrai a raiz enésima.
Por várias razões, a eficiência-D é a que tem as melhores propriedades. Dado que o produto dos valores próprios é igual ao determinante da matriz, os valores médios geométricos podem expressar-se da seguinte forma:
Desenho eficiente |(X’X)-1|1/p mínimo
Onde p é a quantidade de lucro a ser estimado. Portanto, podemos definir uma medida de eficiência como:
Eficiência-D 1 / |(X’X)-1|1/p
Esta medida cumpre a função básica que precisamos. Se um desenho é melhor do que outro, a Eficiência-D aumenta.
Algumas considerações finais:
- O calculo de eficiência que explicamos é para o desenho geral de Conjoint não se aplica para o uso baseado em seleção. Para o caso que nos interessa, é necessário fazer uma simples manipulação nas linhas de matriz do desenho X. De fato, restar a cada fila todas as outras filas presentes no mesmo set multiplicadas, dividir pelo tamanho do set. Desta forma, a matriz X também contém informações de como se combinam os atributos dentro de um mesmo set.
- Podemos usar codificações alternativas para calcular a eficiência. Por exemplo, um atributo com 3 níveis, como a cor do nosso exemplo, na verdade existem apenas dois níveis distintos. Se a cor não é vermelho nem branco, com certeza é preto. Isto nos permite fazer um desenho que tem um número de colunas correspondente ao número de utilidades. Isso representa a soma de todos os níveis menos o número de atributos (9-3 = 6, no nosso exemplo).
- Se a codificação que usamos é "ortogonal padronizada" terá uma eficiência igual ao número de produtos incluídos no desenho. Denominaremos N essa quantidade. Isto permite conhecer o máximo de eficiência que podemos obter. Se dividirmos a eficiência pela eficiência máxima que podemos obter (N) e multiplicarmos por 100, temos uma medida padronizada de eficiência.
A eficiência-D normalizada tem as seguintes propriedades:
- Se o desenho é bom, a eficiência é maior.
- Se o desenho é excelente a eficiência-D é 100%.
- Se alguma utilidade não pode ser estimada (porque se relaciona totalmente com outra), a eficiência-D é 0%.
