Брайан вырос в Ливерпуле. В 16 лет, после смерти отца, оставил школу, чтобы спасти отцовский бизнес Carr's Motors. Продав этот бизнес, он присоединился к компании Granada Group, занимавшейся сдачей в аренду телевизоров, и в 1967 г. стал управляющим директором компании. В 35 лет Волфсон основал собственную компанию Anglo Nordic Holdings, сдававшую в аренду телевизионное оборудование в десятках стран по всему миру, и 15 лет весьма успешно руководил ею. В 1983 г. его компания вошла в финансовый консорциум, выкупивший компанию Wembley Plc., которой принадлежал, в частности, знаменитый стадион "Уэмбли". Его 10-летнее руководство "Уэмбли" принесло Волфсону наибольшую известность, хотя его политика поглощения других компаний, работавших в сфере развлечений, вызывала многочисленные нарекания. В 1990 г. Волфсон был награждён рыцарским званием за службу спорту. Кроме того, он был членом Попечительского совета ливерпульского еврейского центра Хэролд-Хауз.

Имя Брайан, вероятно, происходит от кельтского корня bre - "холм". Имя Гордон - шотландского происхождения, первоначальное значение - "просторный форт". Фамилия Вольфсон - патроним от мужского имени Вольф, которое на идиш означает "волк".