Детство Милли прошло в лондонском районе Сток-Ньюингтон (северо-запад Хэкни), она окончила Школу принцессы Мэй. После окончания Второй мировой войны Миллер получила диплом по социальным наукам в Лондонском университете и начала карьеру социального работника. Она проявляла активность в политической жизни своего района, была избрана в горсовет Сток-Ньюингтона. В 1957-58 гг. Миллер была мэром Сток-Ньюингтона, с 1959-го была председателем жилищного комитета этого района, возглавляла местную женскую организацию Лейбористской партии. В 1967-68 гг. Миллер была мэром Кэмдена, затем - членом горсовета Кэмдена, а в 1971-м возглавила этот совет, став первой женщиной во главе одного из лондонских боро. В 1974 г. Миллер была избрана (со второй попытки) членом Палаты общин британского парламента - от района Северный Илфорд. С 1976 г. она была также парламентским секретарём Государственного министра по ценам и защите потребителей.

Имя Милли - уменьшительное от английских имён Emilie, Mildred и др. Фамилия Миллер произошла от идишского слова мильнер, которое означает "мельник".