در سال ۱۹۵۸، برت با آنا مسی دختر ریموند مسی] ازدواج کرد ولی در سال ۱۹۶۲ به خاطر مردی از او جدا شد. پسر آنها دیوید هاگینز در ۱۹۵۹ متولد شد و هم اکنون هم نقاش کارتون و نول نویس (novelist) موفقی در بریتانیا است. چند سال بعد برت و مسی در نمایش ربکا Rebecca در سال ۱۹۷۸ در شبکه بی بی سی در کنار هم بازی کردند. در سال ۱۹۷۶ برت با جوان ویلسون آمریکایی، تولید کنندهٔ تلویزیون ازدواج کرد ولی جوان در سال ۱۹۸۵ به علت سرطان درگذشت. برت با مرگ ویلسون ویران شد و دیگر هرگز ازدواج نکرد.