泰伯的故事不在《儒林外史》正文里，读者得自己带进来。《论语·泰伯》开篇说他“三以天下让，民无得而称焉”；《史记》把《吴太伯世家》放在“世家”第一篇。一个主动让掉天下的人，成了吴地的始祖，也成了儒家“至德”的标本。第三十三回迟衡山提议建祠，只说了两句：「我们这南京，古今第一个贤人是吴泰伯，却并不曾有个专祠。」他没有复述让国的故事，因为在他看来，这是读书人都该知道的常识。 可这部书恰恰写了一批“让”的人。杜少卿辞征辟，庄绍光辞爵还山，虞育德在南京做了六七年博士，后来也选官去了浙江。他们让掉的不是天下，是官位、名声、家财。迟衡山要把这些人聚到泰伯祠里，用古礼古乐祭一次，意思是：让，不是失败，是一种更高的选择。祠的选址也有意思。泰伯是吴的始祖，南京是吴地；迟衡山说“我们这南京”，把泰伯当成地方先贤，而不是全国通祀的圣人。第三十七回大祭，主祭的是虞育德，亚献庄绍光，终献马纯上，陪祭的是一群秀才、布衣、乐工，通共七十六人。这不是朝廷的祭典，是一群没有官职的人在替地方补一个礼。 但“让”的代价很快就显出来了。第四十八回王玉辉去看泰伯祠，迟衡山贴的仪注单、执事单还在壁上，他和邓质夫「将袖子拂去尘灰」才看清；楼上八口大柜锁着乐器祭器，钥匙在迟府。第五十五回盖宽再去看，大殿的屋山头倒了半边，大门倒了一扇，小孩子在门前踢球，老妇人在丹墀里挑荠菜。泰伯祠不是一座建筑，是一个问句：一个让天下的人，值不值得一座祠？一群让官的人，守不守得住这座祠？建祠的人还在，祠已经破了；这比任何议论都更直接。