圣殿山是犹太教徒最重要的一处圣地。公元前1千年犹太大卫王的儿子所罗门，耗时7载，动用20万人在耶路撒冷一座小山，即后来著名的神庙山（也称圣殿山）上兴建了一座华丽的圣殿，作为朝拜犹太教神主耶和华的地方，这就是著名的耶路撒冷第一圣殿。公元前586年，巴比伦军队攻占耶路撒冷，第一圣殿被毁，后来犹太人两度重修圣殿，但又在罗马占领时期两次被毁坏殆尽。保护至圣所的那座著名的大殿是公元前37年由希律一世大帝在所罗门建造的第一圣殿的废墟上重建起来的。希律圣殿被古罗马提图斯军团毁于公元70年。
此后，犹太人在原来犹太圣殿废墟上用原来圣殿的石头垒起一堵52米长、19米高的大墙，称为“西墙”。犹太人称之为“哭墙”，它成为当今犹太教最重要的崇拜物。西墙原文是Occidental，意即欧洲之墙，公元初时，欧洲人认为耶路撒冷是欧洲的尽头，而这面墙就是欧亚分界线了。
据说罗马人占领耶路撒冷时，犹太人常聚在这里哭泣。此后千百年中，常有各地犹太人来此号哭，以寄托其故国之思，与中国诗经中所抒写的黍离之感相似，此墙因名哭墙。如今每到犹太教安息日，尚有人到哭墙去表示哀悼，进行祈祷。其后，千百万流落异国他乡、分散在世界各地的犹太人，由于屡遭不同形式的“排犹”之苦，特别是第二次世界大战期间，惨遭德国法西斯杀害的犹太人达600万之多。这些惨痛的历史遭遇，深深地印在犯太人的心灵之中，哭墙便更被犹太人视为信仰和团结的象征。直到如今，哭墙脚下经常有来自世界各地的犹太人，他们或围着一张张方桌做宗教仪式，或端坐在一条条长凳上念诵经文，或面壁肃立默默祈祷，或长跪在地悲戚啜泣。逢宗教节日，祈祷者及游人更多。哭墙分为两部分，中间隔一栅栏，男女分开祈祷。入男部，须带上用纸做的小帽，否则被视为异教徒而不准入内。在做正式祈祷时，要准备好两个装着“圣书”语录的小羊皮袋子，一个戴在头上，另一个捆在手臂上，身上披一件特制的披肩。教徒们在祈祷时，面对哭墙，口中念念有词，全身前仰合后，虔诚之态令人肃然起敬。1992年据考古学家透露，他们在“哭墙”发现5块巨型基石，这些石块有2000多年的历史。据考古学家用声波探测法测定，其中最大一块巨石约长13.6米、宽4.6米、高3.5米，重达570吨，据说是世界上第3大人造巨石。长久以来，流放至世界各地的犹太人都会回到这面象征犹太信仰和苦难的墙前低声祈祷，为缅怀昔日民族光荣和历史沧桑而悲恸。
许多徘徊不去的祈祷者，或以手抚墙面、或背诵经文、或将写着祈祷字句的纸条塞入墙壁石缝间。千年的风雨和朝圣者的抚触，让哭墙石头也泛泛发光，如泣如诉一般。
犹太人认为哭墙是当年圣殿留下的唯一遗迹，因而是犹太教最神圣的祈祷地方。许多世纪以来，犹太教徒都到这里来面壁祈祷。每当追忆历史上圣殿被毁情景，便不禁嚎啕大哭一场，哭墙因此而得名。以色列人发誓决不废弃“哭墙”。
1967年“哭墙”所在的破败街区被拆除，成了一片宽阔的铺砌广场。虔诚的犹太教徒热切希望能重建这一圣殿，但那是不可能的，因为那将意味着要拆除后来在遗址上建起的穆斯林圣所。在圣殿地基附近近还建有一座犹太教堂和一座拉比学馆。
1981年哭墙被列入《世界遗产目录》。