Muito interessante seu post e também as discussões com o Fabrício sobre o tema.
Não sou um profundo conhecedor das metodologias ágeis, mas sempre tive muita simpatia pela idéias.
Condordo que seja possível aplicar as práticas recomendadas pelos processos ágeis para melhorarmos os nossos testes, mas vejo uma grande dificuldade nisso quando falamos de organizações maiores, onde as metodologias tradicionais estão muito enraizadas na cultura.
De qualquer forma, penso que boas práticas podem ser aplicadas com sucesso em vários contextos, inclusive conciliando metodologias tradicionais e ágeis, dependendo apenas do bom senso de quem as aplica.

Abraço.

Bom, também não sou xiita de nenhum dos lados, sou fã do “use o que for melhor”, mas reconheço que o movimento xiita de agile é um dos que mais está crescendo ultimamente, da mesma forma que os tradicionalistas ortodoxos de sempre não “morreram” ainda.

Acho que a nossa geração Y está aprendendo a adaptar os conceitos e trabalhar com o melhor de cada metodologia.

Os meus comentários iniciais nos posts foram bem superficiais, vou tentar esclarecer qualquer mal entendido, usando a mesma didática que apresentou no comentário:

•Não entendi a parte que você fala que ele substitui o teste de confirmação.
> Quando criamos esse novo caso de testes, com os procedimentos necessários para reproduzir o erro, já com os resultados esperados entradas e saídas, evitamos realizar o teste de confirmação num próximo ciclo de teste. Por exemplo, o teste que seria realizado para avaliar se o erro foi corrigido passa a ser um teste mais abrangente, visualizando a situação em que o defeito foi identificado, e não se o defeito identificado ainda existe. Reconheço que se fosse dar um nome para esse caso de teste, poderia ser chamado de “caso de teste baseado em defeito” ou “caso de teste de confirmação”, mas o importante nesse caso, é tentar abstrair do erro identificado, para a situação em que o erro aconteceu.

•All code must have unit tests
> Pode ser e pode não ser fácil. Quando falei sobre o meu “maravilhoso mundo da engenharia de software” falo sobre uma equipe interessada na qualidade, motivada e capacitada, o que realmente não é muito fácil. Agora te pergunto se desenvolver um sistema não é complexo? Se criar casos de teste não é uma atividade complexa? O que faz uma atividade deixar de ser complicada para ser complexa é o investimento nessa atividade. Os unit tests não são um “bicho de sete cabeças” como muita gente pensa, principalmente desenvolvedores, mas uma prática como qualquer outra. Andar para a frente é complexo, mas depois de alguns anos se torna algo que nem percebemos o esforço que fazemos.

•a história costuma ser usada no lugar dos requisitos e do caso de uso
> Sim, as histórias e os requisitos tem o mesmo objetivo, mas acho que as histórias entram um pouco mais dentro do que o sistema deve fazer e os requisitos do que o sistema deve prover. Mais ou menos como se o requisitos fossem o “o que” o sistema deve fazer do ponto de vista de negócios e as histórias um detalhamento, entrando um pouco mais no “como” o sistema deve fazer do ponto de vista do negócio. Particularmente nunca trabalhei com histórias de usuários e mas “doido” para conhecer e trabalhar.

•não entendi muito bem, esses testes já não são feitos
> Sim e não. Os testes realizados no “Acceptance tests are run often and the score” são testes baseados nos requisitos, os realizados aqui são sequencias ordenadas de casos de teste, que tem um sentido semântico baseado nos requisitos, mas o nível de detalhamento requer experiência de testador. É como fizer que no teste “Integrate testing often” você testa os mesmos “cenários de negócio” que testa no “Acceptance tests are run often and the score“, mas com um nível de detalhamento muito diferente. O objetivo de um é testar o negócio, o objetivo do outro é testar em detalhes num cenário.

•a mudança pra gente não é tão fácil
> Inicialmente não considerei a possibilidade de automação, mas automação seria feita somente no momento em que boa parte dos requisitos estivessem “congelados”. O que acho importante frisar, é que os testes devem representar o “estado da arte” do sistema em desenvolvimento.

•“Testar da forma mais eficiente possível”.
> Concordo, mas quando tivermos uma dúvida sobre “testamos o suficiente?” é melhor tomar como “não, ainda podemos testar mais” do que “Acho que sim”.

•“una cosa es una cosa y otra cosa es otra cosa”
> Concordo com você, mas o que eu digo é dar preferência para executar o contexto completo do que uma particularidade. O que eu não quero que a pessoa limite-se a testar o defeito encontrado acreditando que o contexto do problema foi resolvido. O teste de confirmação é necessário, mas na minha opinião, se eu tiver que escolher entre os dois, minha escolha é o teste de regressão.

•hoje em dia há várias ferramentas que nos auxiliam nisso
> Open Source e free inclusive, e ainda assim muita gente não usa . . . fico um pouco triste por isso, mas acho que está mudando.

Sobre o final do seu comentário. O problema é que hoje em dia tudo é importante e tudo é prioridade, como nossa consultora Juliana Herbert diz: “Quando tudo é importante, nada é importante”. Se as aplicações citadas forem importantes para a organização, elas podem exigir, como tudo na vida, um tempo de adaptação sim, mas quando mudamos nossos conceitos e decidimos que vamos usar atividade X ou documentação Y, tudo se torna mais fácil.

Por outro lado . . . Sei como eu as vezes sou simplista demais, e penso que de alguma forma podemos mudar as coisas de uma rapidamente se empenharmos em resolver o problema. Acho que ficou um pouco mais claro nesse post, mas vou tentar controlar isso para as próximas.
Acho que você está certo, e muitas vezes as praticas acima podem ser difíceis de aplicar. Mas como são praticas, são mais fáceis de aplicar do que conjuntos de processos e ferramentas, e peço que considere o cenário acima comparado com um conjunto de processos e ferramentas novas, onde paradigmas sofrem grandes modificações e longos treinamentos são necessários.

Para quem começou na área de teste sem um mentor, na famosa metodologia de teste chamada “Testa aí”, sabe como a idéia de caso de teste pode causar repulsa no começo, mas pergunte para uma pessoa que depois de 3~4 anos na vida de teste de software, se ela acha que consegue testar como se deve sem usar casos de teste. A resposta provavelmente será não. Usar caso de teste também foi a um tempo atrás como os testes de unidade são hoje. Uma coisa estranha, que podia gerar pouco valor, que as pessoas tinham medo de investir e etc., mas hoje é um padrão universal. Toda empresa com um departamento de teste ou com bons profissionais de teste tem um modo de gerenciar os testes e usar casos de teste para controlar a qualidade dos projetos.

Fabrício, mais uma vez obrigado pelos elogios e muito obrigado pelas críticas também. Confesso que estudei bastante para pensar nesse post, e sei que muita coisa ainda deve estar errada ou fora do normal, mas meu objetivo com ele é estudar mais sobre agile para que em algum tempo possa aplicar mais no meu dia a dia e nos processos aqui na empresa, e que sem dúvida, comentários como o seu me ajudam a entender melhor esse “brave new world” que são as metodologias ágeis de desenvolvimento de software

Eu não sou tradicionalista de carteirinha, e nem um agilista agilista xiita, mas confesso que tenho uma queda pelas práticas ágeis.

Bem, meus comentários abaixo, são baseados na minha opinião, portanto, estão sujeitos à críticas.

- Concordo com toda a introdução feita por você!

- “When a bug is found, tests are created to guard against it coming back” – pra mim isso é óbvio (rs), e tal prática cabe em qualquer metodologia. Não entendi a parte que você fala que ele substitui o teste de confirmação. (ele é o teste de confirmação!?)

- All code must have unit tests – sem dúvidas, a famosa história da janela quebrada, mas essa prática está longe de ser fácil;

- Acceptance tests are run often and the score – pra mim histórias de usuário e requisitos funcionais tem o mesmo objetivo, só que a história costuma ser usada no lugar dos requisitos e do caso de uso. Quando é adotado BDD, os testes de aceitação são os mesmos que foram utilizando para guiar o desenvolvimento, assim como os unitários viram testes de regressão depois;

- Testing Cicle Velocity (Project Velocity) – concordo.

- All code must pass all unit tests before be released – é bom que passem mesmo (rs), já ouvir casos que isso é levado bem a sério mesmo na prática, ou seja, essa prática não é ficção-científica!

- Integrate testing often (Integrate Often) – não entendi muito bem, esses testes já não são feitos utilizando a prática “Acceptance tests are run often and the score”?

- Refactor whenever and wherever possible – concordo, mas confesso que a mudança pra gente não é tão fácil não, pois estávamos acostumados a automatizar testes apenas quando a funcionalidade a ser testada estava estável;

- Dedicated Integration Computer – fundamental!

- The business analyst is always available – concordo que é difícil o cliente está presente, mas tal prática só deve ser usada quando realmente o cliente não pode participar, e mesmo assim o analista de negócio precisa está 100% alinhado ao cliente, vai 99% pelo menos (rs).

- Testar mais que o necessário – bonito falar isso, mas deve-se tomar cuidado, eu mudaria para “Testar da forma mais eficiente possível”. Pois devemos evitar desperdícios (lembre-se do Lean)

- Cadastrar um defeito inválido – concordo.

- Testes de regressão – discordo, “una cosa es una cosa y otra cosa es otra cosa”. O teste de confirmação existe para saber se o defeito foi corrigido, já o de regressão serve para verificar se a correção, não inseriu novos defeitos.

- Ciclo de teste completo – com automatização isso deixa de ser um sonho.

- Perseguir o zero erro – olha a cenoura aí gente! (rs). Mas concordo, só não me venha falar que o seu sistema tem zero defeitos, pois “isso non ecziste!”

- Automatizar o controle da execução dos testes e da cobertura dos requisitos pelos testes – hoje em dia há várias ferramentas que nos auxiliam nisso;

- Manter rastreabilidade dos defeitos para os casos de teste – importante!

- Priorizar os fluxos com maior número de defeitos para testes de regressão – concordo.

- Modificar constantemente os casos de teste que não apresentem defeitos – sem dúvidas (famoso paradoxo do pesticida).

Agora em relação as tais práticas poderem ser aplicadas “em qualquer projeto, em qualquer fase do projeto, com qualquer equipe, individualmente ou acompanhadas de outras práticas, em qualquer metodologia de desenvolvimento de software”, não acredito muito não, pois nem todas são tão simples assim, principalmente, porque muitas delas implicam em uma mudança de atitude e cultura.

É justamente aí que o Agile “perde” a sua mágica, não é tão fácil de implantar assim não, logicamente, que as práticas são mais simples, comparado aos princípios, mas os princípios são fundamentais. Ou seja, o ideal é que você entenda os princípios para saber o porque é necessário aplicar tais práticas, e serão tais princípios, que te ajudaram a tomar decisões em momentos difíceis.

Abraços! E mais uma vez parabéns pelo excelente post!

P.S.: Me desculpem pelo comentário tão extenso, espero que agregue alguma coisa.