reclamación de vivienda habitual

Pues sintetizando, Me compré soltero mi 1ª vivienda(octubre 2003) sin empadronarme, por desconocimiento. Me casé (mayo 2005)y 11 meses después vendí (marzo 2006) para trasladarme al lugar de trabajo de mi mujer a unos 50 km de mi ciudad. En total he vivido 2 años y 5 meses. Me reclaman por haber vendido antes de 3 años y porque no demuestro que era mi vivienda habitual. He alegado copias de fras. de luz, correspondencia bancaria, y fras. de teléfono, además, certificado de la entidad bancaria en la que trabaja mi mujer donde figura que despúes de casarnos , en un período de 8 meses (mayo 2005 a enero 2006) sufre 4 traslados, y ya en el tercero decido vender para poder vivir juntos en la poblacíon donde parece que se va a quedar ella definitivamente. Dos meses después de escriturar la venta (de marzo 2006 a mayo 2006), nos adelantan que la vuelven a trasladar, esta vez a mi ciudad, donde yo he residido, por aprobar oposición interna. Entonces decidimos comprar la vivenda, en vista de este quinto traslado, en mi ciudad.

Me reclama la junta de Andalucía las la bonificación del 3,5 % en el ITP de cuando compré (deducciones a las que tuve derecho por cumplir con todos los requisitos).

Me dicen que no demuestro suficientemente haber vivido y que el hecho de que mi conyuge no viva en mi misma localidad no es motivo para que pueda vender antes de 3 años, ¿es defendible?
Gracias anticipadas