Vender piso antes de 3 años y Reinvertir en Otro

Hola,
Espero que me puedan aclarar unas dudas que tengo...

Compre un piso en febrero de 2004, teniendo 31 años en su momento, piso en mi nombre. Vendimos ese piso en marzo de 2006. Todo lo que ganamos en la venta lo reinvertimos en otro piso. Nos habian dicho que a partir de 2 años se puede vender, y ahora me doy cuenta que a lo mejor son 3 años, no 2. Lo vendimos y compramos otro mas cerca de la familia de mi marido. Nacio nuestro primer niño y quisieramos estar mas cerca de la familia, y la mia vive en el estranjero.

Ayer me llego una carta ¨Impuesto Sobre Transmissiones Patrimoniales i Actes Juridics Documentados/Impuestos Sobre Successiones I Donaciones¨ y parece que tengo que pagar un impuesto de 4000 euros, la diferencia entre 5% y 7% impuestos, porque tuve un descuento de 5% a la compra del piso en 2004 por tener 31 años, y parece que ahora me reclaman la diferencia por haber vendido el piso antes de 3 años.

Ahora temo lo que pasara con la ganancia de la venta del primero piso. Todo lo invertimos en la nueva vivienda. Pero no llegamos a estar en ese primer piso 3 años, solamente 2 años y 1 mes. Hable con la agencia donde lo compramos ayer, y me ha dicho que solamente tiene que ver con el descuento 5%/7%, que no habra mas impuesto en las ganancias porque lo invertimos en otro piso. Pero tenemos nuestras dudas, por eso, consulto con ustedes.

Tendremos que pagar estos 4000 y luego, tambien, un impuesto en las ganancias, aunque invertimos en un nuevo piso inmediatamente?

Gracias por aclarar todo esto...