Si lo que quieres es utilizar nginx como proxy inverso, uno para todos.
Pero, tal y como comenta @DavidMarzalC , sin lugar a dudas aprovecharΓa las ventajas que ofrece Docker y tirarΓa de Traefik o Caddy.
Traefik es mas duro de configurar inicialmente, pero te da mas opciones. Si tienes cualquier duda o necesitas alguna ayuda me dices