Йосеф Герц эмигрировал в Нью-Йорк в возрасте 12 лет. Получил степень бакалавра искусств в нью-йоркском Сити-колледже, степень доктора философии - в Колумбийском университете, рукоположен в раввины по окончании Еврейской теологической семинарии Америки в 1894 году.

Первую раввинскую кафедру д-р Герц занял в городе Сиракьюс, штат Нью-Йорк. В 1898 г. он возглавил Витвотерсрандскую еврейскую общину (Йоханнесбург, Южная Африка), одновременно в качестве профессора философии преподавал в Трансваальском университетском колледже. Президент Крюгер пытался выслать его из страны за пробританские симпатии и требования религиозного равноправия для евреев и католиков Южной Африки. В 1911 г. вернулся в Нью-Йорк, где возглавил конгрегацию "Орах Хаим".

В 1913 г. рабби Герц был назначен главным раввином Объединения еврейских общин Британской империи и занимал этот пост до самой смерти. Время его руководства было отмечено жаркими спорами внутри еврейской общины. Возглавляемое им Объединение еврейских общин считалось многими иммигрантами, прибывшими в ХХ веке, годов недостаточно ортодоксальным. В 1920-30-е годы Р. Герц оказывал активную поддержку религиозному сионизму, хотя большинство еврейских деятелей того времени выступали против идеи заселения Израиля, опасаясь обвинений в двойной лояльности.

Р. Герц решительно противостоял реформистскому и либеральному иудаизму, но несмотря на это, его красноречие, ясный слог, огромная эрудиция и очевидная искренность снискали ему огромное уважение в глазах большинства британских евреев и неевреев. Его комментарии к Пятикнижию (1929-36) можно найти на полках в большинстве синагог и еврейских домов как в Великобритании, так и по всему миру. Среди других его работ - сборник проповедей "Подтверждение иудаизма", трёхтомник "Проповеди, обращения, исследования", а также "Книга еврейской мысли" (1917) - популярный сборник цитат из еврейской мудрости тысячетий, выдержавший более 25 изданий.

В 1920-е годы Лига Наций приняла решение о подготовке к переходу на новый календарь, с таким расчетом, чтобы каждый день недели в каждый год приходился на одну и ту же дату. При этом получалось, что один-два раза в год в неделе вместо семи дней оказывалось восемь. Принятие такого календаря могло создать для верующих людей по всему миру массу сложностей. Рав Герц успешно организовал международное сопротивление и добился отказа от этой реформы.

В 1922-23гг. р. Джозеф Герц возглавлял Еврейское историческое общество Англии и Конференцию английских иудейских проповедников. Совместно с архиепископом Кентерберийским Уильямом Темплом он основал в 1942 г. Совет христиан и евреев по борьбе с антисемитизмом. Он был президентом Еврейского колледжа и его исполнительным директором в 1939-45 гг., входил в состав совета директоров Еврейского университета в Израиле, председательствовал в правлении Института еврейских исследований университета, участвовал в деятельности различных еврейских и нееврейских организаций, включая Англо-Еврейскую ассоциацию, Лондонский госпиталь, Лигу союза наций, Национальный совет общественной морали и т.д.

Рав Герц был членом Ордена Кавалеров Почёта (Великобритания, 1943), Командором Ордена Леопольда II (Бельгия), был награждён медалью Колумбийского университета.

Имя Джозеф - английская форма библейского имени Йосеф, означающего "будет добавлен". Имя Цви означает "олень" на иврите. Имя Герман восходит к латинскому Germanus - "близкий, родной". Фамилия Герц произошла от немецкого Herz - "сердце".