Хайман родился в состоятельной семье польского происхождения (первоначальная фамилия - Калиш). Коллинз был одним из немногих архитекторов-евреев, практикующих в викторианской Англии. Он владел успешной практикой на Торрингтон-сквер в Блумсбери, главным образом проектируя синагоги, а также жилые дома и мюзик-холлы. Он спроектировал восемь синагог в Лондоне, сохранилась только одна из них - Новая синагога в р-не Сент-Джонс-Вуд, построенная для растущего сообщества богатых и культурных евреев, поселившихся в этом зажиточном районе, и её размер и украшение отражали это. Коллинз также спроектировал несколько провинциальных синагог, в том числе в Саутгемптоне (1865), Четеме (1866), Бристоле (1871) и Ливерпуле (1872). Он также построил блок образцовых жилых домов на Коммершиэл-стрит в восточной части Лондона (1863). Коллинз был избран членом Королевского института британских архитекторов в 1877 г. и служил почётным архитектором и инспектором Свободной еврейской школы в Вестминстере. Два его сына также стали архитекторами.

Имя Хайман - вариант имени Хаим, означающего "жизнь" на идиш. Имя Генри (Гарри) - английская форма германского имени Heimirich (позже Heinirich), состоящего из элементов heim - "дом" и ric - "власть". Фамилия Коллинз - патронимическая, от английского и шотландского имени Колин, уменьшительной формы имени Николас.