드디어 1962년 10월 11일 요한 23세 교황은 로마의 베드로 대성전에서 공의회에 초대된 2천 8백여 명의 주교, 수도회 장상들 가운데 참석한 2천5백40여명의 주교들과 함께 제21차 세계공의회의 장엄한 개회식을 하였는데 이 제1회기는 12월 8일까지 계속되었다. 개회식에서 요한 23세 교황은 공의회의 전망을 아주 비관적으로 보거나 급진개혁으로 몰고 가려는 극단주의적인 유혹을 경계하였다. 모든 대륙과 모든 민족은 대표자들이 참석하였지만 공산주의 국가 출신들은 해당정부의 금지로 참석할 수 없었다. 동방 정교회, 성공회, 프로테스탄트 등 갈라진 형제들도 초대되었다. 회기 초기에는 참석자가 31명이었는데 회의 마지막에는 93명으로 증가하였다.

첫 작업은 전문위원회 위원들을 선출하는 것이었다. 회의는 3단계로 진행되었는데, 먼저 주교와 신학교수들로 구성된 전문위원회가 안건을 준비하여 본 회의에 제안하였다. 그러면 참석한 주교들은 원하는 대로 10분간 라틴어로 자기 의견을 발표할 수 있었다. 이렇게 1주일에 5일 동안 열린 총회에서 공의회에 참석한 교부들은 초안들을 검토하여 수정이나 재 작업을 제안하였다.

한 회기가 끝나고 다음 회기가 열리기 전 그 사이에 각 위원들은 회기중 요구된 수정이나 재작업을 하였다. 새로운 토의와 수정을 거친 후 공의회 문헌의 확정은 교황이 주재하는 총회에서 투표로 결정되었다.

70여 개의 주제들을 전부 다룬다는 것은 불가능하였으므로 20여 개로 통폐합하여 회의에 상정하였다. 회의가 계속되면서 교회를 변화하는 현대세계에 적응시키고 일치를 추구하며 성서적 원천에로 돌아가자는 다수의 개혁파와 교황청의 일부 성직자를 비롯하여 이탈리아, 스페인 등 가톨릭국가 교회에서 전통을 고수하자는 소수의 보수주의로 양분되어 특히 「전례에 관한」의안을 둘러싸고 격렬하게 토론이 진행되었다. 그러나 모든 의견들은 최대한으로 자유롭게 개진될 수 있었다.

참관인 자격으로 참석이 허용된 평신도들은 전문위원들의 보조자로서 위원회의 작업에 참여하였다. 「참관인」자격으로 비가톨릭교회대표자들도 초대되었다.

사실 공의회는 그리스도교인들과 미 신자들과도 본격적인 대화의 길을 열었다. 확실히 세상을 이해하고 그 긍정적인 가치들을 받아들이기 위하여 그리고 옛날에 선입견을 극복하고 복음화의 영역을 근본적으로 쇄신하기 위하여 세상에 교회의 문을 열었다.

1963년 4월 요한 23세 교황은 전 세계에 평화를 위한 노력을 촉구하는 「지상의 평화」라는 회칙을 「선의(善意)의 모든 사람들에게」발표 하였다.

관례에 따르면 교황의 회칙은 교황의 권위가 직접적으로 통용되는 지역의 그리스도인들에게 해당되었는데 요한 23세 교황은 「선의의 모든 사람들에게」선포함으로써 세상을 향해 열려있는 교회의 의지를 강하게 드러냈다. 제1회기에서 「계시의 원천」의안과 현대적 매스 미디어(라디오, 신문 텔레비전, 영화) 및 동방교회에 관한 의안을 다루었지만 통과되지 못한 채 제1회기는 뚜렷한 성과 없이 끝났다.

1963년 6월 3일 요한 23세의 죽음으로 공의회는 자동적으로 휴회되었고 각 위원회는 전면적으로 모든 활동을 중지하였다. 그러나 바오로 6세 교황(1963~1978)은 선출된 때부터 두 번째 회기의 날짜를 확정하면서 공의회 속개를 서둘러 승인하여 제2회기는 같은 해 9월 29일 에 소집되어 12월 4일까지 계속되었다. 그리고 제3회기는 1964년 9월 14일부터 11월 21일까지 계속 되었다. 수없이 많은 세심한 개정 작업을 한 후 마지막 회기인 제4회기는 1965년 9월 14일에 열려 공의회 마지막에 「거룩한 전례에 관한 헌장」「교회에 관한 교의헌장」「계시 헌장」「현대세계의 사목헌장」등 4개의 헌장과 「매스미디어에 관한 교령」「일치 운동에 관한 교령」「동방교회에 관한 교령」「주교들의 교회 사목 직에 관한 교령」「수도생활의 쇄신적응에 관한 교령」「사제양성에 관한 교령」「평신도 사도직에 관한 교령」「교회의 선교활동에 관한 교령」「사제의 직무와 생활에 관한 교령」등 9개의 교령을 비롯 「그리스도교적 교육에 관한 선언」「비 그리스도교에 관한 선언」「종교자유에 관한 선언」등 3개의 선언 등 모두 16개의 공식적인 문헌을 채택하여 공포하고 1965년 12월 8일에 성대하게 폐막되었다.

「교회에 관한 교의헌장」은 공의회 활동의 중심이요 기초로 드러나고 있다. 전례에 관한 헌장 계시 헌장, 현대세계의 사목헌장은 교회론의 원칙과 실천적인 적용에 관한 보충에 해당하였다. 그리고 「교령」들은 개혁에 관한 문헌과 대화에 관한 문헌으로 구별된다. 「선언」들은 신자, 미 신자를 막론하고 모든 사람들에게 해당되었다.