蔡兴宗幼为父廓所重廓与亲故。《书》曰：小儿四岁神气似可不入非类室不与小人游故以兴宗为之名兴宗年十岁失父哀毁有异凡童父廓罢豫章郡还起二宅先成东宅与弟轨廓亡而馆宇未立轨罢长沙郡还送钱五十万以补宅直兴宗年十岁白母曰：一家由来丰俭必共今日宅价不宜受也。母悦而从焉轨有愧色谓其子谈曰：我年六十行事不及十岁小儿兴宗终于光禄大夫。