Una de las formas más sencillas de instalar tu propio servidor de mensajería es usando Prosody (servidor XMPP). https://homebrewserver.club/configuring-a-modern-xmpp-server-es.html