Fasada Świątyni, mimo całkowitego zniszczenia w roku 70, znalazła się na monecie wybitej przez powstańców, którym przewodził Bar Kochba w czasach drugiego powstania żydowskiego 60 lat później.
Głównym punktem Starego Miasta jest obszar Świątyni, zwany po arabsku Harum asz-Szarif, a po hebrajsku Har ha-Bajit. Jak głosi Biblia, teren ten nabył król Salomon, aby wznieść tam Świątynię i umieścić w niej Arkę Przymierza. Nie zachowały się żadne pozostałości Pierwszej Świątyni ani też dokumenty mówiące o jej konstrukcji i wyglądzie. Można jednak przypuszczać, iż była ona podobna do świątyń odnalezionych w innych miastach Izraelitów, takich jak na przykład Hazor. Egipski faraon Szoszonk „zabrał skarby świątyni Pańskiej i skarby domu królewskiego; wszystko to zabrał. Zabrał też złote tarcze, które kazał sporządzić Salomon” (Pierwsza Księga Królewska, 14:25-26). W roku 586 p.n.e. Świątynia została doszczętnie zniszczona przez Babilończyków. W tym właśnie okresie zaginęła Arka Przymierza. Podczas pierwszego powrotu fundamenty pod nową Świątynię kazał położyć Szeszbassar. Później Świątynia została odbudowana, prawdopodobnie wedle pierwotnego planu, przez Zorobabela po jego powrocie z wygnania. Dopiero jednak za panowania Heroda Wielkiego Świątynię rozbudowano z niespotykanym rozmachem. Herod znacznie powiększył platformę, na której stała. Druga Świątynia była celem dorocznych pielgrzymek dla setek tysięcy Żydów, z których wielu przybywało z bardzo daleka. W tej właśnie Świątyni Jezus wiódł dysputy z kapłanami i porozbijał kantory lichwiarzy i kupców. W 70 roku Świątynia została doszczętnie zburzona przez Rzymian. Atak na Świątynię barwnie przedstawił Józef Flawiusz.
Obszar Świątyni leżał w ruinie ponad sto lat, co najmniej do objęcia rządów przez Hadriana. Pośród ruin powstała wówczas prawdopodobnie świątynia Jupitera. Dopiero po podboju arabskim w roku 638 obszar Świątyni odzyskał splendor. W latach 691-692 ukończono budowę meczetu Kopuła Na Skale. Meczet Al-Aksa wznoszono w kilku etapach — najpierw postawiono olbrzymi drewniany budynek, mogący pomieścić 3000 wiernych, później zaś imponującą budowlę z kamienia z piętnastoma nawami. Dalej na południe powstało kilka wspaniałych pałaców połączonych z obszarem Świątyni bramami wybudowanymi za czasów Heroda Antypasa. Pałace uległy kompletnemu zniszczeniu w 1033 roku podczas trzęsienia ziemi i nigdy nie zostały odbudowane. W trakcie prac wykopaliskowych prowadzonych po 1967 roku na południowy zachód od obszaru Świątyni odnaleziono ich resztki.
W roku 1099, kiedy Jerozolimę zajęli krzyżowcy, meczet Kopuła Na Skale stał się świątynią chrześcijańską. Meczet Al-Aksa najpierw pełnił funkcję pałacu władcy Królestwa Jerozolimskiego, później zaś mieścił kwatery templariuszy. Zachowały się szczegóły architektoniczne z czasów wypraw krzyżowych. W okresie mameluckim północna i zachodnia ściana obszaru Świątyni otoczone zostały budowlami, które istnieją po dziś dzień. Na szczególną uwagę zasługuje Al-Madrasa al-Aszrafijja, przebudowana w latach 1479-1482 przez sułtana Qa’itbej’a, panującego od roku 1468 do 1496, i ozdobiona wspaniałą fasadą z pięknym łukowym wejściem. Imię tego sułtana nosi tzw. fontanna Qa’itbej’a. Kolejnych przebudów obszaru Świątyni dokonano za panowania Turków osmańskich. Do roku 1856, kiedy podpisano traktat rosyjsko-turecki, wstęp na obszar Świątyni mieli jedynie muzułmanie.
