Отец Ханны, уроженец г. Папа в Венгрии, с 1926 г. возглавлял ешиву во Франкфурте-на-Майне. После Хрустальной ночи он был арестован, но впоследствии освобождён. Семья уехала из Германии, сначала в Антверпен, а затем с помощью его бывшего ученика р. Бернарда Ревеля смогла в 1939 году переехать в Нью-Йорк. Йосеф Брёйер стал раввином одной из больших синагог, основанных немецко-еврейскими беженцами,  которые обосновались в р-не Вашингтон-Хайтс в Нью-Йорке. В Антверпене Ханна Брёйер вышла замуж за Жака Швальбе (1901-1995), впоследствии - крупного манхэттенского бизнесмена, работавшего в сфере недвижимости, и видного филантропа, поддерживавшего еврейские организации в США и Англии.

Библейское имя Ханна (Анна) означает "благосклонность, благоволение".  Фамилия Швальбе означает "ласточка" по-немецки.