Os testes comparativos são uma versão tecnológica do método comparativo de análise, oriundo da ciência. Os métodos comparativos de análise são utilizados para comparar dois ou mais fenômenos ou objetos de estudo com o intuito de identificar diferenças e semelhanças entre eles. Essas diferenças e semelhanças, em seguida, são levadas em consideração para a construção de esquemas lógicos que expliquem o comportamento, também diferenciado ou similar, entre esses fenômenos ou objetos. Isso significa que a lógica encontrada é capaz de explicar o comportamento de todos eles, o que configura uma forma especial de generalização, que é uma palavra que os cientistas utilizam para dizer que o que acontece com uma coisa (chamada cientificamente de fenômeno ou objeto) também tende a acontecer com todas as outras que foram comparadas. Note, porém, que a palavra tendência não é sinônimo de certeza. A certeza não existe na ciência, apenas na filosofia. A ciência substitui a verdade pela probabilidade, que é a possibilidade de alguma consequência ou efeito ocorrer. É justamente essa possibilidade que é chamada de tendência. Esse esquema lógico é o que é utilizado como pano de fundo para a realização dos chamados testes comparativos.
Os testes comparativos são realizados para comparar o protótipo que está sendo gerado com outros produtos similares, principalmente os concorrentes, mas também são feitos para comparar diferentes versões de protótipos. Os protótipos da tecnologia A, por exemplo, são comparados com as tecnologias similares B, C, D ou mais, em busca de se conhecer o que eles têm em comum e no que se diferenciam. Contudo, diferentemente do que é pretendido pela ciência, os testes comparativos não procuram uma explicação comum a todos, não procuram explicar comportamentos em busca de generalização. Os testes comparativos querem saber quem é melhor dentre os protótipos de tecnologia que os cientistas estão inventando ou as tecnologias concorrentes B, C, D e outras. Para saber quem é melhor, os cientistas utilizam focos de análise, como usabilidade, design, funcionalidade, custos e atratividade, dentre vários outros. A cada reprovação, ajustes e reajustes são feitos nos protótipos, para novos testes comparativos sejam feitos. Se novamente os resultados não estiverem em conformidade com o esperado, novos ajustes e reajustes devem ser feitos, assim como novos testes, até que a conformidade esperada seja alcançada.
Como são feitos os testes comparativos de protótipos? Em primeiro lugar, é necessário que se tenham os protótipos para que possam ser comparados com as tecnologias existentes e, naturalmente, compará-los entre eles. Cada protótipo deve apresentar as diferenciações nos focos de análise (usabilidade, design, custos etc.). Em seguida devem ser selecionados os públicos-alvos, que são as pessoas que vão fazer as avaliações cujos dados serão utilizados para fazer as comparações. É necessário que os componentes desses grupos tenham perfis similares; preferencialmente, sempre que possível, devem ser os mesmos integrantes dos grupos focais. A partir dessas providências podem ser executados os testes, momentos em que as diferentes versões dos protótipos são apresentados e utilizados pelos participantes da avaliação, obedecendo a determinados protocolos, como a execução de tarefas, respostas a questões e assim sucessivamente. Durante a execução do teste, dados são coletados de diferentes fontes para cada foco da pesquisa, configurando o que se chama de triangulação, em que dados diferentes sobre o mesmo foco são utilizados para gerar resultados distintos separadamente, mas que, quando unidos, levam a conclusões muitas vezes inesperadas.
Depois de coletados, os dados devem ser organizados e manuseados em conformidade com alguma técnica de análise válida. A validade do instrumento de coleta e da técnica de análise é que levam à confiabilidade dos resultados, motivos fundamentais para que sejam devida e tecnicamente selecionadas. Só então os resultados são analisados para cada foco da pesquisa, mas que podem considerar aspectos também interessantes, como o tempo gasto para executar tarefas, taxas de sucesso e fracasso e inúmeros outros. Depois, com base nos resultados obtidos, naqueles aspectos em que os protótipos foram reprovados devem ser executadas alterações através de esquemas de ajustes e reajustes, de maneira que se possa identificar qual dos protótipos é o mais promissor para prosseguir nas etapas futuras de transformação em tecnologia.
Os testes comparativos trazem vários benefícios para as equipes de geração tecnológica e para os protótipos estão sendo testados. Os testes permitem melhorar em muito a usabilidade porque identifica com muita facilidade as dificuldades e falhas no manuseio; fica muito mais fácil e validar o design do protótipo a partir das preferências do público-alvo, se atende ou não às suas expectativas; detecta as diferenças nos desempenhos dos protótipos entre si e com as tecnologias concorrentes comparadas; permite que os cientistas e equipes gestoras tomem decisões baseadas em dados qualiquantitativos que os testes geralmente produzem; e economia muito tempo, dinheiro e outros recursos, tornando muito mais eficiente e confiável os ajustes e reajustes a serem feitos, assim como a continuidade ou descontinuidade de algum protótipo.
Os testes comparativos não podem ser confundidos com o método comparativo de análise. Eles são apenas similares em escopo, mas têm finalidades, diferentes, etapas e técnicas distintas. Enquanto na ciência a pretensão é gerar conhecimentos, na geração tecnológica é avaliar o protótipo, o quão bom ou capaz é de se transformar em tecnologia em conformidade com determinados parâmetros e padrões. Testes comparativos se fazem em aspectos específicos de cada protótipo e tecnologias concorrentes, como custo, usabilidade, atratividade e assim por diante, o que significa que esses aspectos têm que ser comuns a todos (comunalidade). É necessário, portanto, que esses testes sejam planejados, executados e avaliados por especialistas em engenharia de produtos e áreas correlatas, para que os resultados pretendidos possam ser utilizados de forma confiável para as decisões das equipes de criação e equipes de gestão da tecnologia.
(*) Daniel Nascimento-e-Silva, PhD, Professor e Pesquisador do Instituto Federal do Amazonas (IFAM)