Sau khi dời đô về Thăng Long, vua Lý Thái Tổ đã lấy tên hầu hết những công trình quan trọng ở Hoa Lư đặt cho nhiều khu vực và công trình ở kinh đô mới để tưởng niệm công lao đặt nền móng xây dụng quyền độc lập tự chủ của các nhà Đinh, Tiền Lê. Sách Đại Nam nhất thống chí ghi: "Đô cũ nhà Đinh, nhà Lê … lại có các danh hiệu: cầu Đông, cầu Dền, cầu Muống, Tràng Tiền, chùa Tháp, chùa Nhất Trụ… nền cũ vẫn còn. Khi Lý Thái Tổ dời đô đến Thăng Long đều dùng theo các danh hiệu ấy".
Những cột kinh do Đinh Liễn dựng và các di vật
được giới khảo cổ phát hiện ở Hoa Lư
Vào thế kỷ thứ X, khi Đinh Bộ Lĩnh lên ngôi hoàng đế, Phật giáo có điều kiện phát triển rực rỡ, các Thiền sư được mời cố vấn cho những vấn đề chính sự quan trọng và có lúc trong triều đình có ngạch quan dành riêng cho các vị Tăng sĩ. Vua Đinh Tiên Hoàng là người đầu tiên đặt chức Tăng thống Phật giáo trong lịch sử nước ta, và "Quốc sư" đầu tiên chính là Ngài Khuông Việt. Đại Việt sử ký toàn thư chép: "Tân Mùi, năm thứ 2 (971) Tống, Khai Bảo năm thứ 4… cho Tăng thống Ngô Chân Lưu hiệu là Khuông Việt đại sư, cho Trương Ma Ni làm Tăng đạo sĩ, Đặng Huyền Quang làm Sùng chân uy nghi". Bởi vậy, vào thế kỷ X, trong khu vực kinh đô Hoa Lư có nhiều ngôi chùa lớn và nổi tiếng như chùa Bà Ngô, chùa Đìa, chùa Am, chùa Tháp, chùa Bàn Long, chùa Thiên Tôn, chùa Hoa Sơn (xây vào triều Đinh); chùa Ngần, chùa Nhất Trụ (xây vào triều Tiền Lê).
Hoa Sơn động tọa lạc ở độ cao 70 mét, thuộc xã Ninh Hòa, huyện Hoa Lư, lối lên chùa có 153 bậc đá. Tương truyền, đây là nơi chào đời và nuôi dưỡng ấu chúa con vua Đinh, nên xưa kia trước cửa động có chùa Bà Đẻ, về sau vua Tự Đức đến thăm đã đặt lại tên động là Hoa Sơn. Chùa Bàn Long cũng được hình thành từ thời Đinh, tương truyền khi chúa Trịnh Sâm đến thăm, đã tự tay đề ba chữ lớn: "Bàn Long Tự" (chùa bệ rồng). Chùa toạ lạc ở thôn Khê Đầu Thượng, xã Ninh Xuân, huyện Hoa Lư được hình thành từ trước thế kỷ thứ X. Tấm bia ở vách núi Đại Tượng khắc vào thế kỷ XVI, niên hiệu Nguyên Hoà, đời vua Lê Trang Tông (1533 - 1548), ghi: "Từ thành cổ Hoa Lư men theo núi đá đi về phía Nam đến làng Khê Đầu ở đó có chùa Bàn Long. Đây là danh thắng từ ngàn xưa. Trải qua các triều Đinh, Lê, Lý, Trần, chùa này càng thêm nổi tiếng". Chùa Đìa và chùa Am nằm ở khu vực thành ngoại của cố đô Hoa Lư cũng được xây dựng vào thời Đinh.
Vào thời Lý - Trần, có tháp Báo Thiên là công trình kiến trúc lừng danh của kinh đô Thăng Long, được vinh danh là một trong Thiên Nam tứ đại khí. Nhưng ít người biết rằng từ trước đó, vào thời Đinh ở Hoa Lư đã có tháp Báo Thiên được xây dựng gần sông Hoàng Long.
Ngày nay, ngôi chùa tháp cổ xưa đó chỉ còn vết tích nền chùa cạnh sông Hoàng Long, với nhiều tảng đá chân cột, trong đó có những viên hình vuông cạnh hơn 1m và vòng tròn ở giữa có đường kính từ 0,5m đến 0,68m.
Theo TS. Đặng Công Nga (Giám đốc Bảo tàng Ninh Bình), vào năm 1963, tại công trường đắp đê sông Hoàng Long từ núi Nghẽn đến gò Gốc Vưng ở phía Bắc thành Hoa Lư, nhân dân đã phát hiện di tích của một ngôi chùa cổ, cùng với nhiều đồ gốm, xương voi, xương ngựa, nhiều tảng thóc cháy. Đặc biệt, ở khu vực gò Cô Nành đã thấy một số cột đá hình trụ tám cạnh dài khoảng 80cm, với 6 bộ phận (Tảng đế vuông, đế tròn, thân, đấu bát giác, bệ sen, búp sen) được ghép với nhau bằng mộng và ngõng. Trên 8 mặt cột trụ đều khắc kinh Phật, nội dung là bài Phật đỉnh tôn thắng Đà la ni. Ngoài kinh Phật, có dòng lạc khoản "Đệ tử Tĩnh hải quân tiết độ sứ, Nam Việt vương Đinh Liễn kính tạo bảo tràng nhất bách tòa, Quý Dậu tuế (973)". Tháng 12-1986, trong khi đào đất đắp đê, nhân dân địa phương lại phát hiện ở đây 14 cột kinh Phật nữa cùng với nhiều bệ đá và búp sen bằng đá. Trong số 14 cột kinh đó, có một cột kinh còn đọc được nguyên vẹn dòng lạc khoản, được GS. Hà Văn Tấn dịch: "Đệ tử Tiết độ sứ, đặc tiến kiểm hiệu thái sư vạn hộ thực ấp Nam Việt vương Đinh Khuông Liễn nhân vì em mình là Đại đức Đính nô Tăng nô, không thuộc theo lòng trung hiếu phụng thờ thượng phụ và anh cả, lại còn sinh lòng phản nghịch. Nếu như yêu quý khoan dung, thì người anh hư hỏng có thể bảo vệ được. Nếu như cho người giết hại tính mạng Đại đức Đính nô Tăng nô là vì muốn việc trong nhà giữ được muôn phong. Người xưa có câu: Tranh giành nhau chức vị, không ai nhường ai, nhanh tay ắt thắng người". Nay nguyện làm 100 tòa kinh báu dâng lên Phật cầu cho người em đã mất và vong linh gia tiên cùng được giải thoát khỏi sự bắt bớ dưới cõi minh…". Qua lời lạc khoản, cho thấy đây là lời giải thích của Đinh Liễn về việc mình sát hại em để tranh ngôi thái tử.
Ở Hà Nội có chùa Bà Ngô và chùa Bà Nành, thì nơi cố đô Hoa Lư ngày nay cũng có chùa Bà Ngô và gò Cô Nành (tương truyền vào thời Đinh nơi đây có chùa Cô Nành). Chùa Bà Ngô được xây từ triều nhà Đinh, ngày nay là ngôi chùa nhỏ nằm bên phải bờ sông Hoàng Long thuộc khu vực ngoại vi thành Hoa Lư xưa. Tấm bia đá dựng ở chùa, mang tên Hưng phúc hương tam hội bi ký, niên đại Tự Đức thứ 30 (1877) có đoạn: "Chùa Bà Ngô trong ấp ta là một danh lam của đô cũ Cồ Việt trước. Vốn là một danh thắng nhưng do thế đại chuyển dời, phong quang thay đổi, am ngọc quạnh quẽ dưới ánh dương tà, chùa báu điêu tàn trơ trọi trong ánh trăng đêm…" Dân gian giải thích tên chùa Bà Ngô tự là vì xưa kia người Tàu (Ngô) thường giấu của ở đây, chôn đàn bà làm thần giữ của (Bà Ngô tức là thần giữ của cho người Tàu). Nhưng TS. Đặng Công Nga khẳng định: "Văn bia viết chữ Ngô ở đây có nghĩa là ta, tôi chứ không phải là người Ngô, người Tàu. Như vậy hai chữ Bà Ngô ở đây chỉ có nghĩa là người đàn bà có tên là Ngô mà thôi. Truyền thuyết người Hoa giấu của hoàn toàn không có cơ sở khoa học". Theo ông Đặng Công Nga, trong chùa có bức đại tự thời Nguyễn ghi 3 chữ Bà Sa tự. Tra từ điển Hán Việt, thấy Bà Sa có nghĩa là múa may, là dáng múa lòa xòa, dáng đi lật đật, xênh xang, nhún nhảy. Chữ Sa còn có nghĩa chỉ cõi Sa bà (svaha), tức cõi nhiều khổ não - cũng là chữ dùng cuối câu thần chú trong kinh Phật đỉnh tôn thắng gia cú linh nghiệm Đà la ni, được khắc trên những cột kinh Đinh Liễn. Như vậy, Bà Sa ở đây có thể hiểu là một nghi lễ Mật tông. Vậy thì chùa Bà Ngô ở thế kỷ thứ X chính là nơi tiến hành nghi thức sám hối, rửa sạch mọi tội lỗi nghiệp chướng trần gian. Chữ Bà Sa đã có trong vốn từ tiếng Việt từ thời Đinh (có thể xuất hiện trước cả thời đó nữa) đã được dùng đặt tên cho chùa Bà Sa tự, chứng tỏ rằng chùa Bà Ngô vào thế kỷ thứ X là một trong những trung tâm Phật giáo cung đình Hoa Lư. Đây là ngôi chùa có vị trí quan trọng trong tín ngưỡng Phật giáo Việt Nam, đặc biệt là quá trình biến đổi lâu dài và phức tạp của Phật giáo trong tín ngưỡng dân gian ở nước ta.
