Tên gọi "Nhà thờ Đức Bà" tại TP.HCM ngày nay khiến người ta dễ liên tưởng tới ngôi nhà thờ nổi tiếng khắp thế giới tại thủ đô Paris của nước Pháp, vốn có tên gọi nguyên gốc là "Cathédrale Notre Dame". Nhưng thực ra tên gọi đó mới được sử dụng từ 1959.

Cụ thể, sau sự việc bức tượng "Đức Mẹ Hòa bình" bằng đá cẩm thạch Carrara trắng được đặt làm từ Italy và rước về Sài Gòn (15/2/1959) dựng trước ngôi nhà thờ lớn nhất của thành phố vốn ban đầu chỉ mang tên Nhà thờ Sài Gòn. Cuối năm đó (5/12/1959), nhà thờ này đã được Tòa thánh tôn phong là tiểu "Vương cung Thánh đường" (basilique) và cũng là nhà thờ chính tòa của Tổng giáo phận Sài Gòn (1960), với tên gọi đầy đủ là "Nhà thờ Chính tòa Đức Bà Sài Gòn", hoặc "Vương cung Thánh đường Đức Mẹ vô nhiễm nguyên tội".

Nhưng đó cũng là nhà thờ được xây sớm nhất còn lại và xứng đáng là một công trình tiêu biểu của "kiến trúc thời thuộc địa" trên thành phố đầu tiên của lãnh thổ nước ta thời thuộc địa. Thực ra ngôi nhà thờ đầu tiên được chính quyền thực dân xây tại vùng đất mới chiếm đóng tạm thời giúp người có đạo thực hành nghi thức tôn giáo của mình được dựng trên nền phế tích một ngôi chùa, vốn tọa lạc tại địa điểm nay là đường Ngô Đức Kế. Nhưng vì quá nhỏ, nên năm 1863, Linh mục Dominique Lefèbvre (tên Việt Nam là Ngãi) được Đô đốc Bonnard ủng hộ đã cho xây một ngôi nhà thờ lớn hơn bên bờ "Kinh Lớn" (kinh Charner) nay là đại lộ Nguyễn Huệ. Viên đá khởi công được đặt ngày 28/3/1863, nhưng nhà thờ làm bằng gỗ, vì thế nên chẳng bao lâu sau, kiến trúc này đã bị mối mọt nhiệt đới hủy hoại…

Phải đến tháng 8/1876, Thống đốc Nam kỳ Victor Auguste Duperré mới tổ chức một cuộc thi thiết kế xây nhà thờ mới cho tương xứng với thành phố thuộc địa đang phát triển mạnh mẽ. Cuối cùng, bản vẽ của kiến trúc sư Jules Bourard đã vượt qua 16 đồ án khác, để được chọn. Địa điểm xây công trình này nằm trên trục đường kết nối Soái phủ Nam kỳ (sau này là Dinh Toàn quyền) và Vườn Bách Thảo, đồng thời mặt tiền của nhà thờ cũng nhìn ra sông Sài Gòn cách đó không xa.

Ngày 7/10/1877, Giám mục Isidore Colombert đặt viên đá đầu tiên và sau 3 năm, ngày 11/4/1880, nhằm dịp Lễ Phục Sinh, nghi thức cung hiến và khánh thành nhà thờ được tổ chức trọng thể với sự hiện diện của Thống đốc Charles Le Myre de Vilers.

Năm 1895, nhà thờ được xây nối thêm hai tháp chuông, có tổng chiều cao hơn 60m (gần gấp đôi Nhà thờ Lớn Hà Nội), với 6 quả chuông đồng lớn, nặng 30 tấn, đúc từ Pháp gửi sang (1879). Riêng hai cây thánh giá bằng kim loại đặt trên hai đỉnh tháp đều có chiều cao ngót 4m và chiều ngang 1,8m, mỗi cây nặng 600kg. Toàn bộ chiều dài thánh đường là 93m, nơi rộng nhất là 35m, có vòm mái cao 21m và có sức chứa chừng 1.200 người dự lễ.

Gần tòa bưu điện thành phố chỉ một khoảng cách ngắn, nên Nhà thờ Đức Bà được coi là nằm trong khu vực trung tâm của Sài Gòn một thời, với Dinh Toàn quyền, Tòa thị chính, một số tượng đài của các nhân vật thực dân, Thủ tướng Pháp Léon Gambetta… Khu vực này còn có bức tượng đôi nhà truyền giáo Bá Đa Lộc cùng Hoàng tử Cảnh để nhắc đến vai trò của người Pháp và đạo Thiên Chúa đối với xứ sở này…

Vào thời điểm hiện nay, Nhà thờ Đức Bà đang tiến hành cuộc đại trùng tu, khởi đầu từ năm 2017 và dự kiến sau 10 năm, đến năm 2027, sẽ hoàn tất vào dịp kỷ niệm 150 năm ngày đặt viên đá khởi công xây dựng Nhà thờ Sài Gòn (1877).