교회와 사회가 분열로 혼탁했던 12세기 때는 은수생활과 성지순례로 자신의 죄를 씻으려는 사람들이 많았다. 상당수의 사람들이 성지순례를 소원했으며 예수님이 생활하고 활동했던 지역을 방문해 자신의 남은 생애를 고독과 청빈, 무욕의 삶을 살려 애썼다. 이 때문에 많은 사람들은 당시 성지순례와 탈환을 위해 십자군 원정에 참가했고 십자군들은 팔레스타인까지 이르게됐다. 이 때 일부의 사람들은 가르멜 산에 남아 자신을 성모님께 봉헌하며 은수자 생활을 시작했다.

이들은 수가 점차 많아지면서 공동체적인 수도생활을 하게 됐고 13세기 초(1206년과 1214년 사이) 당시 예루살렘의 대주교인 알베르토 주교로부터 수도회 규칙서를 받아 은수자적 수도공동체 생활을 하게됐다.

그러나 수도회 규칙서를 받은 시기도 추측할 뿐 정확히 알 수 없고 또 훨씬 이전부터 가르멜 산에서는 은수자들이 생활해 왔기 때문에 가르멜 수도회의 기원과 설립자가 명확하게 제시돼 있지 않다. 따라서 하느님의 심판장소였고 예언자 엘리야의 기도장소였던 가르멜산(1열왕 18, 1-46)의 기원을 따라 가르멜 수도회의 시작은 구약시대까지 거슬러 올라가기도 한다.

엘리야의 관상과 기도를 모범으로 살아가던 은수자들은 당시 빈번했던 회교도들의 침공을 피하기 위해 1230년대 유럽으로 수도회를 옮겼고 처음 자리잡은 곳은 프랑스 북부의 발랑시엔이었다. 당시 유럽에서는 탁발수도회가 번성해 은수자들의 삶의 방식을 따르던 가르멜 수도회원들이 뿌리 내리기 무척 힘들었다. 그래서 이들은 시대적인 요청에 따라 사도직 활동을 수행하게 됐고 1247년 교황 인노첸시오 4세로부터 원초적 은수정신과 함께 사도직 활동을 겸비한 탁발수도회로 최종 승인됐다.

그러나 이후에도 가르멜 수도회를 공식적으로 인정하는 일과 창설자에 대한 논란은 계속됐다. 이러한 가운데 16세기 스페인의 데레사는 관상생활을 주로 하는 원래 수도규칙 정신을 따라 1562년 아빌라의 성 요셉 가르멜 수녀원을 창립했고 이후 십자가의 성 요한과 더불어 남녀 가르멜 수도회를 개혁하여 오늘날의 「맨발 가르멜 수도회」를 만들었다. 이로써 현재 전세계에는 아빌라의 성녀 데레사와 십자가의 성 요한의 개혁을 따르는 「맨발 가르멜 수도회」와 개혁 이전의 규칙을 따르는 「완화 가르멜 수도회」가 함께 있으며 한국에 있는 모든 남녀 수도회는 「맨발 가르멜 수도회」에 속한다.

1337년 화가 쟝 드 셔미노가 엘리야와 그의 제자 엘리사가 가르멜 수도회의 창설자인 것으로 드러내는 그림을 그림으로써 창설자에 대한 이 이야기의 전통은 널리 퍼졌으나 20세기에 이르러서야 엘리야가 창설자라는 주장에서 벗어났다. 그러나 가르멜회를 개혁했던 아빌라의 데레사를 비롯해 십자가의 성 요한 또한 엘리야를 그들의 「아버지」로서 중요한 인물로 생각했고 침묵과 묵상, 복음전파, 예언자적인 증거 등 엘리야의 정신을 잇고 있다.

이같은 가르멜의 관상과 침묵, 기도의 전통은 1939년 프랑스에서 나온 가르멜 수녀 3명이 서울 혜화동에서 생활을 시작하면서 한국으로 전해졌다. 수녀들에 의해 처음으로 한국으로 진출한 가르멜회원들은 일제시대와 6·25를 거치면서 기도와 출판활동을 하면서 성장해왔다.

당시 서울 가르멜 수녀원은 55년 부산 가르멜을, 75년 대전 가르멜을 분가시켰으며 80년에는 천진암 가르멜 수녀원을 창립분가 시켰다. 대구 가르멜 수녀원은 62년 오스트리아에서 진출한 가르멜 수녀들에 의해 창립됐으며 부산 가르멜 수녀원은 84년 고성 가르멜 수녀원을, 대전 가르멜 수녀원은 87년 충주 가르멜 수녀원을 각각 창립 분가시켰다. 97년 대구 가르멜 수녀원이 상주 가르멜 수녀원을 창립 분가하면서 현재 국내에는 모두 8개의 가르멜 수녀원이 있다.

이와 함께 수사들의 한국진출은 1974년 프랑스 「아비뇽 아끼뗀」 관구에서 교육을 받은 한국인 가르멜회원 3명과 이탈리아 베니스 관구 요아킴 귀조 신부가 입국하면서 시작됐다. 이후 가르멜 수도회는 같은 해 9월 8일 창립미사를 거행했고 현재 서울을 비롯해 마산, 광주, 인천 등지에서 47명의 회원들이 수도생활을 하고 있다.

또 48년 공안국 신부에 의해 한국 가르멜재속회가 발족됐으나 전쟁으로 잠시 중단됐고 68년에서야 가르멜회 총장으로부터 인준을 받아 정식 가르멜3회를 발족했다. 이후 전국 곳곳에서 가르멜재속회가 창립됐고 91년에는 한국 가르멜 재속연합회가 창립됐다. 현재 국내에는 3천여명 이상의 재속회원들이 있으며 미국 LA, 뉴욕, 워싱턴에서도 재속회 모임이 이루어지고 있다.