Джозеф родился в семье евреев - иммигрантов из Украины, у него было две старшие сестры, Клара и Эстер, и два брата, Дэвид и Луис. Семья сначала жила в Спиталфилдсе, а затем переехала в Тоттенхэм на севере Лондона. Джозеф поступил на торговый флот в октябре 1936 г. и работал стюардом на судне M.V. Sutherland, затем плавал на других судах, последнее из них - S.S. Laconia, приписанная к Ливерпулю. 12 сентября 1942 года "Лакония", идущая без сопровождения, была поражена двумя торпедами с немецкой подлодки U-156 в Атлантическом океане, примерно в 360 милях к северо-востоку от острова Вознесения, и вскоре затонула. Капитан, 97 членов экипажа, 133 пассажира, 33 польских охранника и 1394 итальянских военнопленных погибли.

Имя Джозеф - английская форма библейского имени Иосиф. Фамилия Фишерман означает "торговец рыбой" на идиш.