Đền Kỳ Cùng còn có tên gọi khác là đền Quan Lớn Tuần Tranh nằm bên tả ngạn sông Kỳ Cùng và ở ngay đầu cầu Kỳ Lừa. Đền Kỳ Cùng nằm tại địa phận phường Vĩnh Trại, thành phố Lạng Sơn, tỉnh Lạng Sơn. Đền được coi là nơi linh thiêng, vốn là nơi thờ thần Giao Long (thần sông nước) với nhiệm vụ giữ cho quanh năm mưa thuận gió hòa. Nhưng sau đó, đền Kỳ Cùng thờ ông Tuần Tranh – một vị quan dưới thời nhà Trần, được cử lên Lạng Sơn đánh giặc, trấn ải biên thùy.

Không rõ đền được xây dựng năm nào, chỉ biết đền Kỳ Cùng có từ rất lâu, và ban đầu chỉ là một ngôi đền nhỏ làm bằng đất lợp ngói, để thờ thần Giao Long. Theo tín ngưỡng của người dân địa phương, thì đây là một vị Thủy thần.

Lịch sử của Đền còn gắn với truyện kể về quan lớn Tuần Tranh, được triều đình nhà Trần cử lên trấn thủ Lạng Sơn, trong thời gian ở tại Lạng Sơn, ông chỉ huy đánh giặc bị thua, quân lính thiệt mạng rất nhiều, ông lại bị vu cáo vào tội dâm ô, đành nhảy xuống sông Kỳ Cùng tự tử để chứng minh sự trong sạch.

Do tấm lòng trong sạch, ông được thần linh hóa thành đôi rắn (ông Cộc – ông Dài) làm vị thần sông ngự tại đền Kỳ Cùng. Về sau, nỗi oan khuất của ông được một vị tướng nhà Lê là Tả đô đốc Hán quận công Thân Công Tài (được thờ tại đền Tả Phủ) chứng minh, hóa giải. Vì vậy mới có tục lệ vào ngày lễ hội đền Kỳ Cùng (cũng từ ngày 22 đến ngày 27 tháng giêng âm lịch giống như đền Tả Phủ), phải có lễ rước kiệu ông lớn Tuần Tranh lên đền Tả Phủ để tạ ơn và hầu chuyện Thân Công Tài.

Trong đền có bến đá Kỳ Cùng là một trong tám cảnh đẹp của Lạng Sơn được ghi trong “Trấn doanh bát cảnh” xưa Ngô Thì Sỹ gọi với cái tên Kỳ Cùng thạch độ. Sở dĩ như vậy là vì theo sử sách chép lại, ngày xưa bất cứ cuộc hành quân hay cuộc hành trình nào của các sứ giả qua lại cũng đều phải qua nơi nay.

Thuyền bè san sát, hai bờ sông lúc nào cũng tấp nập đông đúc vì dân chúng hoặc quan quân hội tụ. Khúc sông Kỳ Cùng ở đoạn này có nhiều tảng đá chắn ngay giữa dòng sông, đá lô nhô trên mặt nước, sóng vỗ vào đá theo mực nước sông, lúc lên lúc xuống tạo thành những lớp sóng tung bọt trắng xóa, trào khắp một dải tràng giang, trông rất ngoạn mục. Tương truyền các sứ thần của Việt Nam mỗi lần đi sứ đều dừng chân tại bến đá, sửa soạn lễ vật lên thắp hương tại đền Kỳ Cùng, cầu cho chuyến đi được bình an, công thành danh.

Ngày nay Cầu Kỳ Cùng được xây ở ngay cạnh bến đá, nối hai bờ Bắc và Nam sông Kỳ Cùng, chia Thành phố Lạng Sơn thành hai khu vực, bên bờ Bắc là nơi sinh hoạt, kinh doanh buôn bán của nhân dân Thành phố, bên bờ nam là khu vực tập trung các cơ quan hành chính của Tỉnh.

Đền Kỳ Cùng đã được xếp hạng di tích lịch sử văn hóa cấp quốc gia, hiện là nơi thu hút rất đông đảo bà con khách thập phương đến tham quan du lịch và cúng lễ.