@DirtiesContext нужно использовать всегда с @TestPropertySource, чтобы контекст не кешировался. Скорее всего в @TestPropertySource локальная разовая конфигурация, которая скорее всего в других местах не встречается. Поэтому нет смысла кешировать.

springtest