Сергей Иссакович родился в богатой еврейской семье, его отцу принадлежал нефтеперерабатывающий завод "Успех" в Грозном. В 1910 г. родители послали его учиться в Англию, где он окончил школу в Хэмпстеде, но не смог получить законченное архитектурное образование, поскольку революция 1917 года в России лишила средств его семью. В 1924 г. Сергей сменил фамилию в попытке скрыть своё еврейское происхождение. После долгих поисков работы в Европе и Латинской Америке он занялся проектированием интерьеров и через несколько лет стал ведущей фигурой в этой области.

В начале 1930-х годов Чермаефф занялся индустриальным дизайном и архитектурой. В 1933-м он основал в Британии совместный офис с бежавшим из нацистской Германии Эрихом Мендельсоном. Их сотрудничество привело к появлению модернизма. В 1940 г. он эмигрировал в США, где продолжил свою архитектурную практику и проявил себя как талантливый педагог и учёный.

Чермаефф преподавал, в разное время, в Калифорнийской школе изящных искусств, в Чикагском технологическом институте, в Гарвардском университете, в Йельском университете и в Массачусетском технологическом институте. Он опубликовал несколько книг по архитектуре, в том числе "Community and Privacy" (1964) и "The Shape of Community" (1971). Чермаефф был также соучредителем нескольких архитектурных обществ, в том числе Американского общества проектировщиков и архитекторов. Его сыновья Питер Чермаефф и Айвен Чермаефф также стали известными архитекторами и дизайнерами.

Имя Серж - английская форма латинского имени Sergius, что означает "слуга". Происхождение фамилии не установлено.