第三十五回，庄绍光奉旨进京，天子在便殿召见，赐禁中乘马，礼数极隆。他奏了教养之事，又连夜写了十策。可回到下处，「除下头巾，见里面有一个蝎子」。他笑道：「臧仓小人，原来就是此物！看来我道不行了！」第二天焚香揲蓍，筮得「天山遁」，便写了一道「恳求恩赐还山」的本。 蝎子当然不是决定性的证据。它藏在头巾里，说明有人在暗中做手脚，也可能只是偶然。庄绍光把它读成“臧仓小人”，是把朝堂上的阻力人格化了。真正让他退的，不是一只虫，是他从这只虫看见的东西：这个朝廷可以给你乘马、赐宴，也可以在你头巾里放一只蝎子。 他进京前答应过迟衡山，说“小弟就回来的，不得误了泰伯祠的大祭”。这句话很重要：他的人生成就不在朝堂，在泰伯祠。第三十七回大祭，他是亚献；第三十六回虞博士主祭。礼乐的重心在南京，不在北京。 天子后来传旨：「庄尚志允令还山，赐内帑银五百两，将南京元武湖赐与庄尚志著书立说，鼓吹休明。」这看起来是优容，其实也是放逐：给你一个湖，让你去著书立说，朝政不必你管。庄绍光接受了，连夜搬到元武湖去住。 他和杜少卿的区别在这里。杜少卿根本不出门；庄绍光出了门，见了皇帝，然后自己回来。他的“辞”不是拒绝世界，是给世界划一条界线。元武湖是皇帝赐的，也是他自己选的：一个可以读书、可以望湖、可以不伺候人的地方。所以蝎子是一个象征，不是全部原因。它让庄绍光把“道不行”三个字说出口；而“道不行”才是他真正的理由。他不是一个怕虫的人，是一个不肯在虫身边做事的人。