VENTA VIVIENDA HABITUAL ANTES TRES AÑOS POR TRASLADO LABORAL

Buenos días, quisiera realizar una consulta porque tengo un problema con Hacienda y no entiendo el motivo.

Paso a exponerles los hechos:
En el 2004, compre mi vivienda.
En septiembre del 2005, tengo un traslado laboral a un nuevo centro de la empresa a 100 km., por lo que decido poner la vivienda en la venta.
La venta de la vivienda la realizo en mayo del 2006.

Decido aplicar la exención por reinversión, comprando una nueva vivienda en el 2006, y reenvirtiendo todo el dinero obtenido en la venta de la primera vivienda, así como el ya desgravado.

Entendio que en aplicación del artículo 53, la vivienda no pierde la categoría de vivienda habitual al ser por un motivo de traslado laboral.

Pero sin embargo, en una inspección que tuve de Hacienda, me dicen que como el traslado laboral fue en el 2005, en el 2006 ya no era mi vivienda habitual, que tenía que haberla vendido inmediatamente.

¿Es eso posible? Por lo que yo vi, en ningún lado se menciona el tema de plazos, sino que se dice que no pierde la categoría de vivienda habitual. Sería imposible vender inmediatamente a que me comuniquen el traslado.

Agradecería que me respondieran, ya que me quieren poner una sanción importante.

Muchas gracias.