Со времен основания Иерусалима Масличная гора служила местом захоронения для его горожан. Мягкая и удобная для обработки меловая скальная порода, из которой сложена Масличная гора, а также близость к городу сделали её иерусалимским некрополем ещё в XVI веке до нашей эры.
Меловая порода благоприятна для масличных деревьев - их выращивали здесь еще в древние времена, поэтому гора и получила своё название. По преданию, оливковая ветвь, которую голубица принесла Ною после потопа, была сорвана на Масличной горе.

Горный хребет Масличной горы, на протяжении всей истории Иерусалима, отделял пустыню от заселенной части страны и являлся естественной преградой для идущих с востока недругов.
Вершина этой горы упоминается в Торе: там ей придается особый религиозный смысл. Именно с её вершины возносит Давид молитву Всевышнему в час бегства от своего взбунтовавшегося сына Авессалома: «А Давид восходит на гору Масличную, восходит и плачет, и голова у него покрыта... И добрался Давид до вершины, где он поклонялся Богу...» (Шмуэль 2, 15:30-32)
Затем, Царь Соломон, сердце которого «развратили жены его», выстроил на хребте Масличной горы, алтари для идолопоклонничества: «И построил Соломон жертвенное возвышение Кемошу, мерзости Моавитской, на горе, которая перед Иерусалимом, и Молеху, мерзости сынов Аммоновых» (Мелахим 1, 11:7) О точном месте расположения алтарей можно судить по описанию их разрушения, которое произвел царь Йошийау много лет спустя, очищая страну от иноземных идолов: «И жертвенные возвышения, что перед Иерусалимом, справа от Губительной горы, которые построил Соломон... царь осквернил». (Мелахим 2, 23:13) Губительной горой здесь, по всей вероятности, гневно названа Масличная гора, которую позже раввины-мудрецы еще называют Елеонской.

Во времена Первого Храма жители Иерусалима продолжили хоронить своих близких на Масличной горе. На сегодняшний день обнаружена, как минимум, 51 могила, относящаяся к этому периоду.
Одна из них расположена к северу от деревни Сильван и названа в честь одной из иноземных жен Царя Соломона «Могила дочери фараона» - поскольку сделана в египетском стиле.
На другой могиле написано «Это [гробница ... Швань] ягу, который ведает домом». Считается, что здесь похоронен Шевна, который ведает домом: видимо, это был один из влиятельных вельмож во времена Хизкияу, царя Иудеи (VIII век до нашей эры). (Йешайа 22:15-16) Судя по гневному обращению Йешайи, надгробье было высечено еще при его жизни: «Что здесь у тебя и кто здесь у тебя, что ты высек себе здесь гробницу?» (Йешайа 22:16)
Судя по описанию пророка Иехезкеля, Шхина (Божественное присутствие), покинула Первый Храм накануне его разрушения, пронеслась над городом и зависла над Масличной горой: «И поднялась слава Господня из середины города, и встала над горою, что к востоку от города» (Иехезкель, 11:23). Мудрецы говорят, что эти строки описывают скитания Шхины, которая покидает Иерусалим и ждет три года на Масличной горе в надежде, что народ Израиля вернется к Богу. Но поскольку этого не произошло, она ушла в пустыню, а оттуда поднялась в небо. Пророк Захария говорит, что в конце дней Шхина вернется на то место, откуда ушла: «И стоять будут ноги Его в день тот на Масличной горе, что перед Иерусалимом, с востока» (Захария, 14:4)

Храм на горе Мория был центром еврейской жизни в этот период, однако и Масличная гора, играла очень важную роль. Священные книги гласят, что во времена Второго Храма Масличная гора была неотъемлемой частью еврейского богослужения в Иерусалиме.
На неё восходил первосвященник для сожжения красной коровы. Талмуд рассказывает, что для этого первосвященник и его помощники покидали Храмовую гору, выходили через Сузские ворота в восточной стене и, по специально для этой цели построенному мосту, переходили через ручей Кедрон на Масличную гору, где первосвященник сжигал корову.
С вершины Масличной горы народ оповещали о начале нового месяца. Объявление о начале нового месяца исходило из Синедриона, который располагался на Храмовой горе, а Масличная гора служила связующим звеном между Иерусалимом и остальной территорией Израиля, а также евреями за пределами страны, на восточном берегу Иордана, и до Вавилона.
Кроме того, на Масличной горе находились связанные со священнослужением службы. В частности, здесь располагались магазины, продающие голубей для жертвоприношения в Храме.
На восточном склоне Масличной горы во времена Второго Храма стояло две деревни – Бейт-Паги и Бейт-Ания (Вифагия и Вифания), где по всей видимости предоставляли ночлег паломникам, пришедшим в Иерусалим.
Как и раньше, Масличная гора служила городским некрополем: тому свидетели многочисленные гробницы и надгробья той эпохи, которые были разбросаны между фруктовыми садами и оливковыми рощами горы. Из них, на сегодняшний день, сохранилось лишь несколько десятков. Самые богатые захоронения того времени – огромные высеченные из камня гробницы в долине ручья Кедрон: гробница Захарии, гробница Хезиров (род священнослужителей), памятник Авессалома (Яд Авшалом) и гробница Иосафата. По величине и роскоши гробниц и надгробий можно судить о том, насколько уважаемы были эти люди в Иерусалиме времен Второго Храма.
Когда римские войска осадили Иерусалим, Десятый легион расположился лагерем на вершине Масличной горы. После того как ими были построены крепость и постоянный лагерь, Тит подвел войска к воротам Иерусалима для атаки на город. Предполагается, что именно в этот период были вырублены оливковые рощи на Масличной горе и в ее окрестностях: римские легионеры нуждались в древесине для укрепления своего лагеря.

После восстания Бар Кохвы, указом императора Адриана евреям было запрещено жить в Иерусалиме а также в любом месте, из которого виден Иерусалим, в том числе и на Масличной горе. И все же раз в год, как свидетельствует Иероним Стридонский, в течение трех недель между 17 Тамузом и 9 Аввом, многие евреи стекались к Иерусалиму и за определенную плату «покупали право», «оплакивать свой город и свой разрушенный Храм».
Когда эллинистский Рим превратился в христианскую Византию, в Иерусалиме, как месте зарождения христианства, начали строить церкви.
 Поскольку священные для евреев места на Масличной горе (место молитвы Царя Давида, место сожжения красной коровы, место пребывания Шхины) не являются христианскими святынями, христиане определили свои священные места и создали свои обряды.
В Византийский период еврейское кладбище на Масличной горе служило местом уединения и захоронения христианских монахов.

Когда страну захватили мусульмане, существовавший для евреев запрет на проживание в Иерусалиме, был снят. Евреи потянулись обратно в Иерусалим и в городе вновь забурлила жизнь общины. Возобновилось и паломничество в Иерусалим, дорога в который начиналась с Масличной горы.
Начиная с IX века и на протяжении сотен лет, евреям было запрещено подниматься на Храмовую гору, поэтому обряды паломничества проводились на вершине Масличной горы. Как правило, церемонии проходили на седьмой день Праздника Кущей (Суккот) и включали в себя многолюдные шествия с учителями-раввинами во главе и священнослужителями в пышных нарядах. На гору поднимались по двум разным дорогам, и поднявшись, читали молитвы и пели псалмы вокруг большого камня на вершине горы. В тот день было принято назначать главу Ешивы, определять календарь на грядущий год, который передавали здесь же представителям общин. На этом же собрании предавали остракизму караимов. В ту пору роль Масличной горы была так велика, что ее называли «Табурет для ног Всевышнего», а назначение главы Ешивы именовали «Назначение на Масличной горе».
С приходом крестоносцев, еврейская община в Иерусалиме сильно оскудела, и эта традиция, по всей видимости, прекратилась. Но паломники по-прежнему поодиночке поднимались на Масличную гору. Многолюдные праздничные шествия больше на горе не проводились, даже после того как в страну вновь вернулись мусульмане, однако начиная с XV века гробница Захарии стала местом паломничества и проведения траурных церемоний по разрушенному 9 месяца Авва, Храму.
В этот же период, на западном склоне Масличной горы, над долиной ручья Кедрон, стало снова  разрастаться еврейское кладбище – так вернулась традиция периода Первого и Второго Храмов.

Во второй половине ХIХ века представители европейских стран развернули на Масличной горе активную строительную деятельность: немцы построили комплекс Августа-Виктория, французы строили на южной вершине горы.
В здании Августа-Виктория на Масличной горе жил британский верховный комиссар; во время же Британского Мандата был построен Еврейский университет на горе Скопус – северной вершине Масличной горы.
Кроме того, на этой же горе, чуть ниже университета, была построена больница «Адасса», которая обслуживала местных жителей вне зависимости от их национальной принадлежности.
13 апреля 1948 года медицинский персонал больницы ехал вверх по горе по направлению к больнице. Проезжая мимо квартала Шейх Джерах, на повороте дороги они подверглись массированному обстрелу в результате которого, погибло 78 врачей и сестер. Примечательно, что англичане и пальцем не пошевелили, пока все не кончилось. К сожалению, до сих пор остались без вести пропавшие жертвы этого нападения.
В этот период еврейское кладбище, возобновившееся в долине ручья Кедрон в предыдущий период , разрослось до самой вершины Масличной горы.

Девятнадцать лет Масличная гора была под контролем Иордании. В этот период университет на горе Скопус был отделен от еврейской части Иерусалима и являл собой еврейский анклав посреди иорданской территории. Согласно заключенному между сторонами соглашению о прекращении огня, израильскому полицейскому наряду разрешалось раз в две недели подниматься на гору Скопус, для поддержания там порядка и уборки территории. Университетские занятия были переведены в новый кампус – в районе Гиват-Рам и в несколько зданий, находящихся в западной части города. Больницу же перенесли в новое здание в районе Эйн Карем. Что же до кладбища, то оно осталось на Масличной горе незащищенным, захоронение на нем прекратилось. Из-за отсутствия должного присмотра, но главным образом, вследствие преднамеренного осквернения могил, кладбище пришло в весьма плачевное состояние: надгробья были расколоты и разбиты, вся территория заброшена и замусорена.
Но хуже всего было преднамеренное разрушение могил, поскольку
Иорданские власти занялись расширением нескольких трасс, в том числе главной трассы Иерусалим-Иерихон. В ходе этого проекта дороги прокладывались прямо по могилам. Каменные плиты надгробий уносили с кладбища – их использовали для постройки частных домов. Могилы, расположенные на западном склоне, и те, что возле «Гробниц Пророков» подвергли целенаправленному разорению.
Иордания дала разрешение британским археологам провести раскопки в районе памятников в Кедронской долине – вокруг памятника Авессалома и гробницы Захарии. Также, было разрешено расчистить всю площадку предназначенную для археологических работ, от всех находящихся на этой территории древних надгробий.

Завоевание Масличной горы в Шестидневную войну позволило освободить Старый город и объединить Иерусалим.

В ходе военных действий, Израилю пришлось действовать решительно, поскольку город подвергался интенсивному обстрелу, и была велика опасность, что Иордания захватит выступ горы Скопус:
Для освобождения Иерусалима 55-й полк резервистов прибыл к музею Рокфеллера. После чего, к хребту Масличной горы была послана колонна джипов, но по ошибке они свернули на трассу Иерусалим-Иерихон, идущую вдоль стен Старого города. Находящиеся на стене иорданские солдаты заметили идущую по дороге колонну и подвергли ее интенсивному обстрелу. Пришедшие на помощь раненым солдаты тоже попали под обстрел. Два танка из 182 батальона, присланные как подкрепление, были подбиты: один взорвался, а другой скатился в обрыв. Много убитых и раненых лежало на склонах горы, пока не подоспела помощь. Несмотря на ошибки и большие потери, израильские войска все-таки захватили вершину Масличной горы.
Отсюда, с площадки перед гостиницей  «Интерконтиненталь» (ныне «Семь арок») Мота Гур командовал боем за освобождение Иерусалима. Войска спустились с Масличной горы по двум дорогам к Львиным воротам, и объединившись, вошли в Старый город и на Храмовую гору.