Het wapen van de Orde is in zijn volledige vorm niet altijd door iedereen gekend of begrepen. Het heeft bovendien een voorgeschiedenis. Vóór de 15e eeuw bestaat het wapen, dat dienst doet in de handelingen van de generale kapittels, uit de beeltenis van de heilige maagd gekleed in de kledij van de Karmel, de witte mantel geopend en door haar eigen handen hooggehouden; daaronder schuilen karmelieten die naar haar opzien zien met in gebed gevouwen handen.
Vanaf de 15e eeuw is er het wapen zoals we het nu kennen. De bruine kleur in het onderste deel van het schild verbeeldt de kleur van de pij. Het bovenste gedeelte met de witte kleur herinnert aan de mantel.
De afbeelding van de berg duidt uiteraard op de berg Karmel. Zoals ook in eerdere hervormingscongregaties binnen de Orde hervormde de Ongeschoeide Karmel de top van de berg tot een kruis.
En dan de drie sterren. De twee bruine tegen de witte achtergrond in het bovenste gedeelte symboliseren de heilige voorvaders binnen de Orde. En de ene, witte ster, beneden tegen de bruine achtergrond, wijst op de heiligheid van leven waartoe de nu levende broeders - nog op weg naar de top van de berg - geroepen zijn.
De hertogelijke kroon van de “markiezen van Spanje” symboliseert de adel van de Orde daar zij als haar stichters de moeder Gods en Elia heeft.
De arm van Elia, die het vlammende zwaard vasthoudt, herinnert uiteraard aan de Bijbelse geschiedenis van het grote voorbeeld van alle karmelieten en aan hun opdracht om “dag en nacht de wet des Heren te overwegen” opdat “het zwaard van de geest, dat is het woord van God, overvloedig op uw lippen en in uw hart mag wonen”.
De wapenspreuk van de Orde, eveneens ontleend aan Elia (1 Koningen 19,10), staat op het tekstlint dat het geheel omlijst: “Zelo zelatus sum pro Domino Deo Exercituum”. Dat laat zich vertalen in: “‘Ik heb me met volle overgave ingezet voor de Heer, de God van de hemelse machten”.
De Mariale aard van de Orde wordt gesymboliseerd door de twaalf sterren die herinneren aan de verschijning van de “vrouw gekleed in de zon, met de maan onder haar voeten en op haar hoofd een kroon van twaalf sterren” (Apok 12:1).