Финсберг был единственным сыном в набожной еврейской семье. Он получил образование в средней школе Хендона и Школе лондонского Сити. В 1944-47 гг. он работал на угольной шахте Глэпвелл в Дербишире в рамках движения "Парни Бевина". В 1993 году он был избран первым президентом Ассоциации "Парни Бевина".

С юных лет Финсберг был активным членом Консервативной партии, был основателем организации "Молодые консерваторы Мэнсфилда" и председателем организации "Молодые консерваторы Хэмпстеда". На местных выборах 1949 г. он был избран в совет городского округа Хэмпстед от Вест-Энда. В том же году он стал членом Исполнительного комитета Национального союза консервативных и юнионистских ассоциаций, и занимал эту должность  до 1979 года.

На всеобщих выборах 1955 года Финсберг безуспешно баллотировался в парламент от Восточного Ислингтона, и в последующие 15 лет занимал различные должности в городском совете и других органах р-на Кэмден. Он был также заместителем председателя (1969-71) и вице-президентом (1971-74) Ассоциации муниципальных корпораций. В 1972-75 гг. он был председателем Комитета консервативных органов местного самоуправления Большого Лондона.

На всеобщих выборах 1970 года, еще будучи советником, Финсберг был избран членом парламента от Хэмпстеда, сместив действующего депутата от лейбористской партии с перевесом всего в 474 голоса. В том же году он стал членом Специального парламентского комитета по расходам и проработал там до 1979 года. На всеобщих выборах 1979 года Финсберг победил лейбориста Кена Ливингстона, будущего мэра Лондона.

В 1983 г. Финсберг стал членом Парламентской ассамблеи Совета Европы, а в 1987 г. стал руководителем британской делегации. Он был президентом Парламентской ассамблеи Совета Европы в 1991-92 гг. Он был основателем и заместителем председателя парламентского отделения Консервативных друзей Израиля. Во время Войны Судного дня (1973) он проголосовал против эмбарго на поставки оружия Израилю. В 1992 г. он проиграл всеобщие выборы и позже был назначен пожизненным пэром как барон Финсберг из Хэмпстеда.

Кроме политики, Финсберг занимался также бизнесом и благотворительностью. В 1968-79 гг. он был главным советником по производственным отношениям в Great Universal Stores. В 1986-89 гг. он был заместителем председателя Юго-восточного регионального совета в Trustee Savings Bank. Он также был членом Совета Конфедерации британской промышленности. С 1993 по 1995 год Финсберг был  казначеем Национального совета христиан и евреев, затем стал его почётным секретарем. Финсберг был покровителем Ассоциации Маккаби Великобритании и организации "Детская и юношеская алия".

Финсберг стал сотрудником Института управления персоналом в 1975 году. Он был награждён Орденом Британской империи (MBE) в 1959 г. и посвящен в рыцари в 1984-м. Кроме того, он был награждён австрийским орденом "За заслуги" (1989) и испанским Орденом Изабеллы Католической (1990). Он умер в возрасте 70 лет в Стокгольме.

Имя Джеффри - франко-норманская форма германского имени с несколькими вариантами значения. Происхождение фамилии Финсберг не установлено.