29 декабря 1889 года в Палестине, находившейся под властью Османской империи, была основана французская «Компания османской железной дороги из Яффы в Иерусалим и далее».
Разрешения на строительство первой железной дороги в Эрец-Исраэль добился еврейский предприниматель Йосеф Навон. Ему это удалось, так как он был османским подданным. Навон продал разрешение французу Бернару Колла за миллион франков. Колла и стал первым директором компании, начавшей строительство железнодорожных путей из Яффы в Иерусалим. Изначально предполагалось продлить ее в Газу.
Строительство началось в 1890 году и продолжалось два года. Рельсы доставляли из Бельгии и Франции.
Железную дорогу торжественно открыли 26 сентября 1892 года. До этого времени Иерусалим и Яффу соединяла только мощеная дорога, предназначенная для повозок. На Ближнем Востоке люди передвигались в основном на лошадях, верблюдах и ослах. Железные дороги в то время были только в Турции и Египте.
Утром поезд отправлялся из Иерусалима в Яффу, а к вечеру возвращался обратно. По дороге он пересекал 176 мостов. Поездка занимала всего четыре часа — до появления железной дороги путнику требовалось два дня, чтобы добраться из одного города в другой.