Reinversion vivienda habitual

Mi mujer y yo compramos un piso en Dos Hermanas (Sevilla) el 9 de julio de 1999. En septiembre de 2003, consigo un trabajo en Pozoblanco (Córdoba), tras lo cual decido aceptarlo y me mudo gracias a que un amigo me deja un piso. Tras un periodo de prueba unos 6 meses aproximadamente, veo que el cambio es factible y decido poner mi piso en venta para a posteriori comprar uno en Pozoblanco. La venta del piso se efectúa el 30 de noviembre de 2.004. Luego consigo señalar un piso en Pozoblanco el 29 de diciembre de 2.004. Como los dueños del piso no reciben su vivienda nueva hasta la terminación de la obra no firmamos la compra del piso hasta el 9 de mayo del 2006. Yo he invertido todo el dinero de la ganancia del piso anterior en este nuevo que hemos comprado. Cual sera mi sorpresa cuando una jefecilla de hacienda (seguro que con ganas de promoción y de ascender en su empresa) me dice que no se considera reinversión de vivienda habitual pues yo me he salido antes del piso que vendo. Llame a hacienda par informarme y me dijeron que me tranquilizara que eso no era así, pero no me dieron más explicación. Ahora me han llamado para justificar este asunto. ¿que hago? ¿tienen razon? Como me hagan pagar los beneficios del anterior piso no sé que voy a hacer. Agradecería su valiosa información Muchas gracias.