万历二十三年，南京的名士都已渐渐销磨尽了——第五十五回劈头就这样写，底本还在「销」字下留了一条校记「一作“消”」，连这一个字都传出了两个写法。虞博士、庄绍光、杜少卿那一辈人或死或散；泰伯祠破败，礼乐无人。就在这时候，作者「添四客」：写字的季遐年、卖火纸筒的王太、开茶馆的盖宽、做裁缝的荆元。四个人都不是儒林中人。季遐年穷得穿烂鞋，却敢骂施御史的孙子「你是何等之人，敢来叫我写字」；王太卖火纸筒，在妙意庵看棋，被大老官们赶，结果下棋赢了那位「天下的大国手」马先生；盖宽会画两笔画，家败后开茶馆，连几分银子的茶钱都要邻居会账；荆元是裁缝，做完生活就弹琴写字。 他们的“奇”不在才，在“不依附”。荆元说得最清楚：「又不贪图人的富贵，又不伺候人的颜色，天不收，地不管，倒不快活？」这句话和儒林的功名路正好相反：儒林要人依附，要人看颜色，要人进考场、拜座师、等旌扬；四个奇人靠手艺吃饭，反而保住了自己的性情。 但他们也不是完美的理想。季遐年叫四个小和尚替他按纸，右手后边那个动了一下，他就「一凿，把小和尚凿矮了半截」；盖宽落魄到十月里还穿着夏布衣裳；荆元的朋友们听了他那一番话，「也就不和他亲热」。作者没有把他们写成神仙，只写成一群有脾气、有穷气、有骨气的普通人。回目叫「添四客述往思来 弹一曲高山流水」。“述往”是追忆前面那些名士，“思来”是问以后还有没有人；“高山流水”则是知音难遇的典故。四个人各弹各的调，彼此并不相知，作者也没有给他们一个团圆的结局。这个结尾不是大团圆，也不是绝望。它把“贤人君子”的标准从功名移到了人品和手艺：入不了《儒林外史》的，未必不是贤人；上了幽榜的，未必真贤。四个奇人是全书最后一盏灯，灯光不大，但照见了儒林之外的路。