Am 4. Oktober 1890 schlossen sich Erfurter Handwerker und Mitglieder mehrerer kleinerer Gesangsvereine zum „Erfurter Männer Gesang-Verein" zusammen. Der neue Verein wählte sich das Motto:
„Treu und wahr in Tat und Wort ist uns’res Bundes Grundakkord.“
Das historische Wappen des EMGV trägt zweimal das Symbol des Erfurter Rades, die Thüringer Landesfarben sowie den Löwen und das Gründungsdatum „4.10.1890“. Es entstand vermutlich erst nach 1900, da „eingetragene Vereine“ zum Gründungszeitpunkt in Deutschland noch nicht existierten.
Die Gründungsmitglieder waren zumeist Handwerker – eine Verbindung, die der Chor bis heute in der Bezeichnung „Gesangsgruppe des Handwerks“ im Vereinsnamen trägt und durch die enge Verbundenheit mit der Handwerkskammer Erfurt pflegt.