Devolución de deducciones por inversión en vivienda habitual??

Hola.. tengo una duda..
El año pasado vendí un piso a mi nombre y posteriormente compré una casa con mi pareja. El piso lo compré en 2005 y en el IRPF de 2004 ya me deduje dinero a cuenta para la adquisición de la vivienda habitual.

Mi pregunta es, dado que vendí en piso y no hacia tres años que lo tenia tendré que pagar la plusvalía generada al 18%. ok..? pero las deducciones aplicadas es obligatorio devolverlas o puedo dejar de desgravarme en mi nueva vivienda habitual hasta llegar al total de lo deducido anteriormente.. en el caso que haya que devolverlo todo, entiendo que la deducciones habrá que devolverlas con interés de demora?? si es así, como se calculan estos intereses?
Muchas gracias por buestro interés..!