Ufortyfikowana Jerozolima powstała na skale leżącej na południe od obszaru Świątyni. Miasto założono w tym właśnie miejscu, ponieważ nieopodal tryskało źródło Gihon. Najwcześniejsze ślady osadnictwa w Jerozolimie datuje się na chalkolit. Już w XIV wieku p.n.e. miasto zostało wymienione w dokumencie znalezionym w pałacu faraona w Amarnie, na terenie Egiptu. W epoce brązu, w czasach Kananejczyków, na skraju skały zbudowano platformę, gdzie w epoce brązu prawdopodobnie stanęła kananejska twierdza. Przez około dwa stulecia — jak głosi Biblia — Jerozolima pozostawała w rękach Jebusytów. Jerozolimę odebrał im Dawid, ustanawiając w niej stolicę swego nowego królestwa. Ale Jebusytów nie wysiedlono ani nie wymordowano. Na kamiennej platformie powstało coś, co Stary Testament nazywa „Millo”. Stolica usytuowana przez Dawida leżała między dwiema częściami ziemi zajętej przez Izraelitów, na terenie nienależącym do żadnego z plemion, co było genialnym, bo kompromisowym posunięciem, a Joab, naczelnik i zdobywca Jerozolimy„rozbudowując miasto wokół Millo odbudował resztę miasta”. (Pierwsza Księga Kronik, 11:8). Król Tyru, Hiram, dostarczył Dawidowi cedry libańskie na budulec oraz stolarzy i murarzy.
Badania archeologiczne potwierdzają relację zawartą w Biblii: w północno-wschodniej części Miasta Dawidowego znaleziono utworzone z tarasów podwyższenie terenu, zapewne resztki owego Millo. Wraz ze sprowadzeniem do Jerozolimy Arki miasto stało się również polityczną i nade wszystko religijną stolicą królestwa. Dawid kupił klepisko od króla Arawny.
„I zbudował tam Dawid ołtarz Jahwe, i złożył ofiary całopalne i ofiary pojednania, aż Jahwe dał się przebłagać i zatrzymana została zaraza w Izraelu” (Druga Księga Samuela, 24:25).
Budowę świątyni rozpoczęto dopiero po śmierci Dawida. Nie wiadomo dlaczego Dawid nie wzniósł odpowiedniej świątyni, aby umieścić w niej Arkę. Biblia wyjaśnia, że powstrzymała go przed tym przepowiednia. Miasto bardzo się wzbogaciło nie tylko z racji położenia na skrzyżowaniu kilku szlaków międzynarodowego handlu, lecz także dzięki pobieraniu podatków od dwunastu plemion Izraela. Po śmierci Salomona (około 930 p.n.e.), w czasach podzielonej monarchii, Jerozolima pełniła funkcję stolicy Judy. Odkopano kilka domów pochodzących z VII wieku p.n.e. Jeden z nich, tzw. Dom Ahiela, jest przykładem budowli z monolitycznych kamiennych słupów. W innej budowli, Domu Bulli, znaleziono wiele glinianych pieczęci, co świadczy o tym, iż być może znajdował się tam jakiś urząd. Widomym śladem poczynań Babilończyków w roku 586 p.n.e. jest gruba warstwa zniszczenia. Szyb Warrena jest natomiast pozostałością systemu zaopatrzenia pierwszego miasta w wodę. Szyb, odkryty w 1867 roku przez archeologa Charlesa Warrena, łączył miasto ze źródłem Gihon poprzez system naturalnych tuneli. Odkryto również wodociąg pochodzący z X-IX wieku p.n.e. Doprowadzał on wodę ze źródła do zbiorników wodnych umieszczonych w dolinie na południe od miasta. W ścianach wodociągu znajdują się specjalne ujścia, przez które pobierano wodę do nawadniania pól. W roku 701 p.n.e. Ezechiasz wybudował tunel, którym można dzisiaj przejść pod poziomem starego Miasta Dawidowego na całej długości ponad 400 metrów od źródła Gihon do Sadzawki Siloe. Tam właśnie Jezus dokonał cudu uzdrowienia ślepca (Jan, 9:1-12). Nie zachowało się nic z owej sadzawki, a w miejscu tym stoi obecnie meczet zbudowany na ruinach bizantyjskiego kościoła.
