factura sin retencion: ahora me reclaman el ingreso de la misma

Buenos días, resulta que en los años 2007 y 2008 un arquitecto abono dos minutas a un delineante, el cual le presento dos facturas sin retención de IRPF, esta persona estaba exenta de repercutir IGIC (Operación realizada en Canarias) por lo que la base imponible coincidió con el líquido a percibir. Pues bien, ahora la AEAT reclama el 15% de los importes de esas facturas al pagador, el arquitecto, indicandole que según lo contenido en el artículo 99 de la ley 35/2006 del IRPF, en su punto 4 se dice que ..."en todo caso los sujetos obligados a retener o a ingresar a cuenta asumirán la obligación de efectuar el ingreso en el Tesoro, sin que el incumplimiento de aquella obligación pueda excusarles de ésta."

A mi entender, si a mí me presentan una factura o recibo de cobro por unos servicios prestados, la responsabilidad de que ese documento sea erróneo no es asunto mío, entiendo que le deberían reclamar a ese delineante las retenciones, ya que yo pagué el total.

Hemos presentado alegaciones y han sido desestimadas, quedando la opción del recurso de reposición.

Que opinan al respecto?

Gracias y buenos días