第三十三回，泰伯祠还只是一张手卷。迟衡山裱了一个手卷，请朋友认捐；杜少卿接过手卷，写下“天长杜仪捐银三百两”，迟衡山自己捐二百两，又叫卢华士勉力出五十两。祠还没有影子，先有的是一张认捐名单。第三十七回，祠建成了。众人出南门，看那泰伯祠：「几十层高坡上去，一座大门，左边是省牲之所。大门过去，一个大天井。又几十层高坡上去，三座门。进去一座丹墀。左右两廊，奉着从祀历代先贤神位。中间是五间大殿。殿上泰伯神位，面前供桌、香炉、烛台。殿后又一个丹墀，五间大楼。左右两傍，一边三间书房。」大门悬“泰伯之祠”匾，楼上悬“习礼楼”匾。这一回的大祭，主祭虞育德，亚献庄绍光，终献马纯上，执事、乐工、佾舞的孩子通共七十六人。 第四十八回，祠还在，但已经空了。王玉辉和邓质夫出南门去看，迟衡山贴的祭祀仪注单和执事单还在壁上，两人「将袖子拂去尘灰」才看清；楼上八口大柜锁着乐器祭器，要看的人回「钥匙在迟府上」。祠有人看门，却没有了祭。第五十五回，盖宽和邻居再去看，祠已经破了：「望见泰伯祠的大殿，屋山头倒了半边。来到门前，五六个小孩子在那里踢球，两扇大门倒了一扇，睡在地下。」两人走进去，三四个乡间老妇人在丹墀里挑荠菜，大殿上槅子都没了，后边五间楼的楼板没有一片。盖宽叹息：「这样名胜的所在，而今破败至此，就没有一个人来修理！」 从手卷到破庙，中间只隔了十几回。作者不写谁拆的、谁偷的、谁不管，只写三次看祠：第一次看它建成，第二次看它空着，第三次看它塌了。空间的兴衰，就是礼乐理想的兴衰；不用议论，房子自己会说话。所以泰伯祠是全书最大的一件“物象”。它由一群没有官职的人捐建，被一群没有官职的人祭祀，最后被时间、孩子和荠菜接管。祠的破败不是意外，是必然：一个靠私人热心维持的礼，热一退，就只剩下空房子。