原籍浙江兰溪，出生于香港。因出生于香港，乳名香笙。又名绮霞，因其1912年5月28日出生于香港时，东方天际出现一片绮丽多彩的霞光而得名，因上有两个哥哥和三个姐姐，故而在姐妹中排行第四（幺女），家人亲昵地称她为赵四小姐。她出身于一个颇有名望的官宦之家。其父赵庆华（字燧山）是浙江兰溪人，在北洋政府时代，历任津浦、沪宁、广九等铁路局局长，曾任东三省外交顾问，并官至交通次长，为人耿介不阿，为官清廉。国民政府将领张学良第二任妻子。1928年（一说1927年）与张学良相识于天津，私奔，赵四小姐跪求张妻于凤至接纳，并许诺终生不要名分。后住在于凤至出资修建的『金屋』以秘书身份伴张。