Vivienda habitual -cambio de empleo

Hola:

Cuento mi historia entera por si alguien me puede indicar algo. En diciembre 2006 me compre una casa en ciudad real. Por la que me he desgravado la cuenta de ahorro vivienda y la desgravacion en vidienda habitual de 2007. Cuando me la compre hacia todos los dias el camino madrid/ciudad real en AVE pero la verdad es que me he cansado y me he venido a vivir a Madrid. ¿tendre que devolver la devolucion por vivienda habitual? Se que por cambio de empleo o traslado laboral no tendria porque devolverla pero en este caso no me he cambiado de empresa ni la empresa me ha cambiado de destino fisico(he tenido un cambio de puesto que me requiere echar mas horas en el trabajo pero la localizacion del trabajo es la misma). ¿que opinias? La distancia de MAdrid a Ciudad Real es de 200km.

Saludos.