MODULOS vrs ESTIMACION DIRECTA ¿incompatibles para cónyuges?

Buenos días foro,
Hace un año y medio me dí de alta como Autónoma (IAE 644.3) y elegí la forma de Estimación Directa Simplificada.

Debido al alto coste en el alquiler de locales, decidí ocupar unos metros en el mismo local donde mi esposo ejerce su actividad -desde hace 7 años- también como autónomo (673.2).

Para la elección del epígrafe y para otras aclaraciones, hice varias visitas a la AEAT donde me orientaron sin ningún problema. Les expliqué el tipo de local que abriría (me ayudaron en la selección del epígrafe), que lo compartiría con mi esposo (me dijeron que no había ningún problema) y al quedar todo aclarado -según yo- me dí de alta.

Hace unos días mi esposo fué a la AEAT para aclarar por qué le estaban haciendo un cobro por mi epígrafe (porque los pagos por mi actividad los hago puntualmente yo).
No pudieron aclararle, pero lo citaron para otro día con el objeto de recabar información y ese día le comentan, que aunque SI PODEMOS estar de alta en actividades diferentes bajo epígrafes diferentes, NO PODEMOS COMPARTIR LOCAL (?¿).
Le dijeron que lo más probable es que inicien una inspección porque "no se ve bien" que compartamos local bajo "módulos uno y estimación directa simplificada el otro".

Le dicen también que yo no puedo cambiar la EDS porque no he cumplido los 3 años mínimos para poder cambiar y que a él no le convendría cambiar después de estos años declarando por módulos.

Qué se espera que hagamos? Tengo que buscar otro local? Tiene él que cambiar de Módulos a EDS? o simplemente debemos esperar a ver si deciden o no hacer una inspección?. Demás está decir que son negocios pequeños que no generan ingresos interesantes sino más bien de "empleo autónomo" y que hasta donde se puede toda la documentación está en orden.

Muchas gracias por vuestro interés en leer mi tema y orientarme en lo que podáis.