Em se tratando de avaliação, logo nos direcionamos para as séries de normas ABNT NBR ISO/IEC 9126 e 14598 que definem modelo de métricas e processo de avaliação da qualidade do produto de software.
Esclarencendo, a ISO 14.598 tem foco em definir um processo de avaliação da qualidade de produtos de software e orienta seu uso em conjunto com a ISO 9.126, que fornece um modelo de características e sub-caraterísticas de qualidade de software, e propõe que cada empresa crie suas próprias métricas.

Segundo informações do Guia de aquisição:2009 do MPS.BR, as normas acima estão sendo revistas, resultando em um modelo denominado SQuaRE que já possui algumas normas publicadas pela ISO e o modelo geral pode ser encontrado na norma ABNT NBR ISO/IEC 25000.

Essas normas te darão embasamento de como elaborar e realizar uma avaliação adequada, com a qual poderá gerar índices que facilitarão a identificação das melhores soluções em caso de produtos de terceiros.

Segue abaixo um resumo de características e sub-características citadas pela ISO 9126, bem como uma forma simples de identificar cada uma delas:

  • Funcionalidade– Satisfaz as necessidades?
    • Adequação – Propõe-se a fazer o que é apropriado?
    • Acurácia – Faz o que foi proposto de forma correta?
    • Interoperabilidade – Interage com os sistemas especificados?
    • Conformidade – Está de acordo com as normas, leis, etc.?
    • Segurança de acesso – Evita acesso não autorizado aos dados?
  • Confiabilidade– É imune a falhas?
    • Maturidade – Com que freqüência apresenta falhas?
    • Tolerância às falhas – Ocorrendo falhas, como ele reage?
    • Recuperabilidade – É capaz de recuperar dados em caso de falha?
  • Usabilidade– É fácil de usar?
    • Intelegibilidade – É fácil entender o conceito e a aplicação?
    • Apreensibilidade – É fácil aprender a usar?
    • Operacionalidade – É fácil de operar e controlar?
  • Eficiência– É rápido e “enxuto”?
    • Tempo – Qual é o tempo de resposta, a velocidade de execução?
    • Recursos – Quanto recurso usa? Durante quanto tempo?
  • Manutenibilidade– É fácil de modificar?
    • Analisabilidade – É fácil de encontrar uma falha, quando ocorre?
    • Modificabilidade – É fácil modificar e adaptar?
    • Estabilidade – Há grande risco quando se faz alterações?
    • Testabilidade – É fácil testar quando se faz alterações?
  • Portabilidade– É facil de usar em outro ambiente?
    • Adaptabilidade – É fácil adaptar a outros ambientes?
    • Capacidade para ser instalado – É fácil instalar em outros ambientes?
    • Conformidade – Está de acordo com padrões de portabilidade?
    • Capacidade para substituir – É fácil de substituir por outro?

No caso de produtos internos, a mensuração dos itens acima fornecerá meios de acompanhar a evolução/maturidade dos artefatos que estão sendo gerados, alguns itens não se aplicarão para determinadas situações, cabe a você identificar como e quais utilizar. Lembre-se: utilize apenas o que for necessário.

Como a área de arquitetura de sistemas é voltada para o plano estratégico da empresa, e suas tomadas de decisões devem focar nesse aspecto, entram algumas questões importantes:

  • Qual é o objetivo da empresa?
  • Quais características são prioritárias?

Entre outras que se seguem, me limito a essas 2 por enquanto, pois elas podem formar diretrizes importantes, no caminho que se deve seguir para que a avaliação seja facilmente mensurável e tangível.

Espero que este artigo te auxilie caso ainda não siga nenhuma referencia.

Você tem critérios para avaliação de uma ferramenta/produto/solução? Quais?

Referências:

http://pt.scribd.com/doc/53575418/119/ISO-14598

http://inf.upf.tche.br/~52731/Qualidade_software/ULBRA-Qualidade-P2-Produto-v2.pdf

http://homepages.dcc.ufmg.br/~clarindo/arquivos/disciplinas/eu/material/seminarios-alunos/normas-iso-kecia-elayne.pdf

http://inf.unisul.br/~vera/egs/ISO%2014598.htm

http://www.estig.ipbeja.pt/~eidces/produto.pdf

http://www.cesarkallas.net/arquivos/faculdade/engenharia_de_software/17-Qualidade%20em%20Software/Normas%20de%20Qualidade-I.pdf

http://www.comp.ita.br/~rubelia/selector/FD_Avaliar.htm

http://diegolages.blogspot.com/2008_02_01_archive.html

http://pm2all.blogspot.com/2011/05/normas-iso-14598-9126-para-avaliacao-da.html

http://pm2all.blogspot.com/2011/05/normas-iso-14598-9126-definir-os.html