Cái tên Vũ Thạch được gọi theo tên làng Vũ Thạch, nơi có ngôi trường danh tiếng xưa và ông giáo làng Vũ Thạch là Nguyễn Huy Đức (1824 – 1898) nổi tiếng phẩm hạnh, đào tạo được nhiều môn sinh tài đức trên đất Thăng Long.
Đình Vũ Thạch là nơi thờ Khỏa Ba Sơn, tướng của Hai Bà Trưng. Theo các thần phả còn ghi lại, Khỏa Ba Sơn được Hai Bà cử tới ấp Hoa Động (nay thuộc xã Cự Khối, Gia Lâm) lập một đồn giả để lừa quân Hán, nhờ đó mà đánh bại được Tô Định. Sau khi lên ngôi, Hai Bà Trưng cho ông trở về đóng đồn tại ấp Hoa Động, song ông đã hoá ngay giữa tiệc khao thưởng dân làng (nơi thờ chính của ông hiện là làng Xuân Đỗ, xã Cự Khối, Gia Lâm). Đền Vũ Thạch thờ Mẫu Liễu Hạnh và các mẫu khác trong tín ngưỡng dân gian. Sự tích về các bà Mẫu đã được nhiều sách ghi chép. Chùa Vũ Thạch tương truyền được khởi dựng từ đời nhà Lý, được xây dựng theo kiểu chuôi vồ. Theo văn bia trùng tu chùa vào năm Tự Đức thứ 10, chùa còn có tên Quang Minh Tự. Chùa chủ yếu thờ Phật, ngoài ra còn thờ Mẫu, thờ các sư tổ của chùa qua nhiều năm trụ trì đã viên tịch.
Đình, đền, chùa Vũ Thạch là di tích duy nhất của khu vực quanh hồ Hoàn Kiếm may mắn thoát khỏi sự phá huỷ vào cuối thế kỉ XIX, đầu thế kỉ XX khi thực dân Pháp phá bỏ phố cũ và cho xây nhiều công sở và phố Tây. Cụm di tích đã được trùng tu, sửa chữa nhiều lần qua các năm: Tự Đức thứ 35 (1882), Thành Thái thứ 3 (1891) và Khải Định thứ 9 (1924). Hiện còn bảo lưu được một hệ thống các di vật quý: hương án, khám thờ, sập thờ, câu đối, sắc phong, thần phả… Đặc biệt, ở đình Vũ Thạch còn có tượng thần Khỏa Ba Sơn cùng 30 ngai thờ sơn son thiếp vàng, trong đó 5 ngai lớn được chạm trổ rất công phu. Đình còn giữ được cả kiệu bát cống, bốn đôi lọ lộc bình men trắng vẽ lam có niên hiệu đời Thanh. Đồng thời, nơi đây hiện còn lưu giữ 5 sắc phong của các vua triều đại nhà Nguyễn như một sắc phong của Vua Gia Long năm 1802, hai sắc phong của Vua Tự Đức năm 1852 và 1879, một sắc phong của Vua Đồng Khánh năm 1886, một sắc phong của Vua Thành Thái năm 1889. Các sắc phong đều thể hiện sự kính trọng đối với danh tướng Khỏa Ba Sơn.
Để tưởng nhớ công ơn vị thần này, đình, đền Vũ Thạch vẫn mở hội vào ngày 10/2 và 15/10 Âm lịch hàng năm. Trong ngày lễ hội bao giờ cũng có một đoàn của làng Xuân Đỗ (Hạ) đến cùng tham gia. Lễ hội có rất nhiều trò chơi dân gian truyền thống như hát ca trù, hát văn, biểu diễn võ dân tộc.
Di tích đình, đền, chùa Vũ Thạch là một điểm nhấn trong tổng thể kiến trúc tôn giáo của dân làng Vũ Thạch xưa và đã được Bộ Văn hóa Thông tin xếp hạng di tích kiến trúc nghệ thuật năm 1986. Cùng với các giá trị văn hóa cũ, ngôi đình Vũ Thạch cũng từng là nơi đặt hòm phiếu bầu Quốc hội khoá 1 (6/1/1946) và là nơi đóng quân cửa Tự vệ thành Hà Nội trong 60 ngày kháng chiến cuối năm 1946 đầu năm 1947. Năm 1995, phường Tràng Tiền đã tiến hành dựng Bia tượng niệm 77 anh hùng liệt sỹ là công dân của phường.
Sự tồn tại của di tích Vũ Thạch không chỉ là một vật chứng lịch sử về một ngôi làng cổ quanh kinh thành Thăng Long mà còn là một mốc ghi nhận truyền thống văn hóa của vùng đất Hoàn Kiếm từ lâu đã trở thành đệ nhất danh thắng của Thủ đô ngàn năm văn hiến.
