Exención por reinversión en vivienda habitual

Vendí la que fue mi vivienda habitual en 2006 y, por desconocimiento, en la declaración de IRPF no puse la ganancia patrimonial ni marqué la opción de exención por reinversión en vivienda habitual.
Desde Hacienda me imputan una ganancia patrimonial de unos 95000 € y me han puesto una sanción.
No obstante, a pesar de no haber marcado la casilla de exención por reinversión, yo he invertido en mi actual vivienda habitual en los años 2004, 2005, 2006 y 2007, cantidades superiores a la ganancia patrimonial imputada y al valor neto de la venta, con lo que, creo, estoy en los supuestos que se establecen para la reinversión en vivienda habitual.
¿Es razonable recurrir la liquidación con la ganancia patrimonial que me imputan y la sanción impuesta, o, por el hecho de no haber marcado la casilla, ya no tengo ninguna opción de que esto sea estimado por un tribunal en un contencioso administrativo?
¿Hay jurisprudencia al respecto?