Pago ibi sin referencia catastral

Compre una vivienda en diciembre del 2004, presente en el plazo legal la documentación pertinente, para poner ibi a mi nombre, me adjudican referencia catastral, noviembre del 2007, segun consta e catastro me pasan 1º ibi en el 2008, y 2009, me reclama el Ayuntamiento aparte al del año correpondiente, el del 2005,2006 y 2007,todos a la vez, mi pregunta es,¿tengo obligacion de pagar el ibi de los años en que aun no me habian adjudicado referencia catastral, y consecuentemente no estaba individualizado aun el piso a mi nombre? y si es asi cuando prescribiria el 2005.