Сценическая карьера Джозефа началась в 1944 г. На его счету более двух десятков ролей в бродвейских и офф-бродвейских театрах. В 1977 г., заменив умершего Зеро Мостела, он сыграл заглавную роль в нашумевшем спектакле "Купец" (по мотивам шекспировского "Венецианского купца"). Леон сыграл в трёх десятках кинофильмов и телесериалов, среди наиболее известных - "Шафт" (1971), "Он знает, что вы одни" (1980), "Выбор Софи" (1982), "Миллионы Брюстера" (1985). В 1966-72 гг. Леон преподавал сценическое искусство в Университете Хофстра, штат Нью-Йорк. Завершив актёрскую карьеру в 1989 г., жил во Франции, писал рассказы, издал автобиографию "Under the Tallis". Умер и похоронен во Флориде.

Имя Джозеф - английская форма библейского имени Йосиф. Имя и фамилия Леон - от греческого слова leon, означающего "лев".