impuesto patrimonio

buenas, es mi primer mensaje, os cuento:
he visto que cuando tienes a partir de 108.000 y pico euros hay que declarar en el impuesto sobre patrimonio. hasta ahora, no llegaba a esa cifra, pero mi situacion actual es esta:
rondo los 120.000 euros en total, sumando todas las cuentas que tengo: la que uso habitualmente, un par de depósitos, una cuenta vivienda y un par de EPSV.
trabajo por cuenta ajena, ese dinero es puro ahorro de lo que me pagan, con el fin de comprarme un piso.
me parece que me van a penalizar ese ahorro obligandome a declarar por patrimonio (curioso y cabreante, porque a gente que tiene un patrimonio mucho mayor invertido en pisos parece que no la obligan).
¿estoy en lo cierto, tendre que declarar?
hacienda me avisara, de todos modos? es que no tengo ni idea, hasta ahora simplemente habia declarado por IRPF en una entidad bancaria. no se si encima tengo que buscarme vida para los tramites del IP