Compra vivienda obra nueva procedente de permuta inmobiliaria ¿IVA o ITP?

Voy a comprar una vivienda de obra nueva procedente de una permuta inmobiliaria. El dueño del solar recibe unos pisos a cambio del mismo. Ahora han terminado la obra y el dueño del solar me vende la vivienda. He firmado el contrato de compraventa y me dice que le tengo que pagar el IVA. En este caso, el dueño del solar, también ejerce actividades profesionales de promotor. Quisiera hacerlo bien desde el principio y no encontrarme con la desagradable sorpresa de pasado un tiempo, recibir una comunicación de la agencia tributaria autonómica reclamándome el ITP.
Yo, como comprador, soy particular.

¿Es correcto lo que me propone de pagar el IVA?
¿O debo pagar el ITP?
¿Si es correcto él debería firmar la escritura en calidad de promotor y no como persona física?

Muchas gracias anticipadas al que me pueda ayudar.