Deducción vivienda habitual con ampliación hipoteca después de divorcio

Hola a todos, mi caso es el siguiente:

En el 2004, faltando unos 20.000.-€ para cancelar la hipoteca de la vivienda habitual (vivienda 1), decidimos comprar una vivienda (vivienda 2) que sería la nueva vivienda habitual, para lo cual solicitamos una hipoteca para la compra de esta vivienda y ampliamos la hipoteca que ya teníamos en 50.000 € más.

En la declaración del 2004 y 2005, continuamos deduciendo por la hipoteca de la vivienda 1. En el año 2005, me divorcio quedándome con la vivienda 1. Mi "ex", se queda con la vivienda 2. La situación es que, para pagarme la parte de la vivienda 1 que ya teníamos casi pagada a medias, decidimos dejar las cosas como están, pues la "sobrehipoteca" de los 50.000.-€ es aproximadamente la mitad de la valoración de la vivienda 1 y de esta forma no tengo que pagar nada a mi ex (digamos que se lo pago con la ampliación de la hipoteca ya efectuada antes de la sentencia de divorcio).

Es aquí, donde surjen los problemas con Hacienda. Esta dice que tan sólo puedo deducir por el 33% del total de la hipoteca [25.000 / (25.000 + 50.000)]. Técnicamente tienen razón y de hecho hasta tener la sentencia de divorcio, la deducción fue la correcta. A partir de la sentencia, la realidad es que lo que amortizo tiene un único fin: el pago de la vivienda habitual (lo que tengo pendiente más la ampliación de la misma que es para pagar la la mitad del piso que era de mi ex).

¿Qué puedo hacer?

Agradezco sinceramente cualquier sugerencia. Gracias anticipadas y perdón si no está muy bien explicado el caso.