以色列最初是指一个民族而非地名，可查最早的记载出现在公元前1211年。在过去3000年的历史中，犹太人视以色列地为自己的民族和精神生活的核心，称之为“圣地”或“应许之地”。以色列在犹太教中具有特别的含义，包括圣殿遗迹和相关的宗教礼仪，都是现代犹太教传统的重要基础。根据圣经记载，以色列人的先祖亚伯拉罕原来居住在美索不达米亚地区，后受神呼召，迁居至迦南。以色列的先祖亦曾南下至埃及寄居，在埃及做奴工四百年。直至公元前14世纪，他们才集体离开埃及，回到迦南定居，并逐渐占领当地。

大卫王-所罗门王

大卫王将以色列的都城迁到耶路撒冷，在耶路撒冷为王33年。其子所罗门接任王位。所罗门承接大卫留下的这个强国，就大兴土木，建筑堡垒、宫室和耶路撒冷的圣殿。所罗门的统治时期可以说是以色列历史的黄金时代的顶点。

南北王国时期

公元前931年所罗门王死后，北方的十个支派便马上脱离以色列联合王国，由耶罗波安做王；而南方的两个支派，即犹大和便雅闵，则依然由所罗门的儿子罗波安领导，自此，约一百多年的以色列联合王国结束，国家分为北国以色列和南国犹大。

南部群体（即南国犹大）有两个部族，以较为强大的部族犹大来命名；而北部群体（即北国以色列）则有10个部族，仍然保持着以色列的名称。因此，居住在南部犹大地区的人，自此被称作犹太人；而居住在北部以色列地区的人，便保持以色列人的称号，从而使犹太人与以色列人一样，都具有种族和民族，乃至国家的多重意义。

巴比伦之囚古典时代

经历过亚述、巴比伦、波斯、希腊、罗马、拜占廷等古国的统治，犹太人在这一地区逐渐衰落并遭驱逐。尤其是在132年的一次大规模起义失败后，罗马帝国将犹太人驱逐出这一地区，将地名改为“叙利亚-巴勒斯坦”。虽然如此，千年来小部分犹太人一直留在巴勒斯坦，但主要的犹太人口从以色列南部移至北部、或其他大陆。犹太教最重要的两本经籍《密西拿》和《塔木德》经也是在这段时期写成。

哈斯蒙尼王朝中世纪和奥斯曼时期

公元638年，穆斯林从拜占廷帝国夺取该地区的控制权，之后一千多年数个穆斯林帝国统治过这个地区；包括倭马亚王朝、阿拔斯王朝，以及花剌子模和蒙古帝国，在1260年至1517年间由马木留克王朝统治，接着在1517年成为奥斯曼帝国一个省份。