且面谕：“你写一幅字来我看。”
这不是要看耿介的书法，是要看他为学的心得，耿介写了一幅正楷，自己所撰的辞句是：
孔门言仁、言孝，盖仁孝一理，仁者孝之本体；孝者仁之发用，不言仁无以见孝之广大；不言孝无以见仁之切实。
这四十三个字，阐明孝出于仁，表里相通的道理，简明扼要，皇帝颇为欣赏，特书“存诚”二大字赐耿介，作为心许的表示。
但是，皇帝心许，太子却不“欣赏”这位师傅。耿介上了年纪，步履蹒跚，言语亦不甚利落；而且乡居太久，形质仪容，朴实简陋，年纪正轻，活泼好动的太子，自然觉得不对劲。当时朝中大小官员，也看不起这位乡下土老儿的师傅，往往就在他背后讪笑戏侮，以致耿介大为不安，颇有悔此一行之感。
对汤斌怀着成见的人，攻击耿介，自是不在话下，但比较公正的旁观之论，亦都觉得汤斌保荐耿介，颇欠考虑。最明白的一点是，汤斌在荐疏中说耿介“年逾六旬，精力尚健”，即非事实。
卅二年不见，耿介已大非昔比，耳朵聋了，眼睛花了，步履瞒珊，老态龙钟，即令寸心湛然，学问深厚，见解因年龄的增长而愈见超卓，但可以为一般士子的师长，却不宜负辅导十四岁的皇太子的重任；因为皇太子到底还是一个少年，宜乎有个精力充沛，行动轻捷，言语便络，能够庄谐并作，因势利导来启发少年心性，如郭琇那样的人，才是适当的人选。
耿介当然也有自知之明，曾经具呈吏部，自陈衰老，不堪任使，请求代奏放回田里。无奈皇恩浩荡，授职于先，赐字于后，耿介只有勉强留了下来。这一留使得妒忌汤斌的人，有了攻击的口实；于是借海关一案发作，耿介也受了连累。
当时攻击汤斌的“重头戏”，是在余国柱和徐乾学的指使之下，由左都御史王鸿绪担任“主角”。
第一步是对付董汉臣，当他奉旨免罪不问以后，本已无事；王鸿绪却又另辟蹊径，重起炉灶，就整个钦天监的低级官吏立言：
钦天监灵台郎、博士官等，无知蒙昧者多，皆由其始不择流品，星卜屠沽之徒，粗识数字，便得滥竿。授官之后，又不专心学习，勉尽职掌，惟行险侥幸，希图迁擢，请敕下考试，分别去留。
这话说得不算错，礼部详议，认为可行，复奏核可，便举行了一次考试，结果有十五个人以“词理舛误”被革了职；不用说，其中当然包含了董汉臣。
到了汤斌因为“爱民有心，救民无术”八个字为皇帝不满之后，余国柱认为汤斌的圣眷已衰，正是攻倒他的时候，所以发动王鸿绪倾全力展开攻击，由都察院满缺左都御史绦丹和他本人联名领衔，另外加上副都史徐元珙和郑重，合词上疏，说汤斌“务名鲜实”；又说他在巡抚任内，去任时“巧饰文告，以博虚誉”。这些都是针对皇帝的心理所进的谗言，相当有力；但攻击得不分是非，颠倒黑白，就弄巧成绌了。
其中有一句话是：“至擢巡抚，涓氵矣莫报”使得皇帝大为不满。他特地召见大学士明珠等人，神色严重地说：“汤斌擢用巡抚，是我重视其人的品德。汤斌在巡抚任内，纵有务名之心，但是政绩昭昭在人耳目，何可因为海关一事，便抹煞了他以前的好处。果真其人不足当巡抚之任，那么，我以前用他的时候，你们为什么不奏谏？”
这番质问，使得明珠等人，哑口无言，唯有免冠碰头。不过，“惭对董汉臣”这句话，皇帝亦认为费解，便降旨令汤斌“明白回奏”。
这是汤斌出于良心的“失言”，既然奉旨质问，便只有引罪；拖病草奏，深夜不眠，这篇奏疏很长，自陈昔年与耿介“同为词臣，其刻苦自励，杜绝交游，心窃重之，故冒昧荐举，但自顺治十二年，外转后迄今三十二年，竟未谋面。”
已三十二年未见的人居然保荐，汤斌自道，“臣罪何辞？”及至跟耿介见了面，“惊其衰老”，更为惶恐。提到董汉臣，他是这样措词：
御史陶式玉，循其越职言事，奉旨下问，臣亦就疏论疏，以方今求言之时，越职罪似可宽。殊不思汉臣疏内各款，皆抄录旧文，语多浮泛；惟是皇上谕教皇太子，何等精详？以臣何咎，辄敢妄议，臣不能请旨严究真倩，使狂妄小臣，幸辶官国宪，臣罪何辞？
这样说法，是违反汤斌本意的，但因董汉臣的原疏中，隐然有指皇帝纵容太子失教之意，而储位关乎国本，如以为董汉臣所指不错，则必将兴起大狱，这正是明珠、余国柱等人所希望的。汤斌自觉一身无所惜，但动摇国本，危及朝局的事，是他绝不肯做的，同时董汉臣亦将不保首级，所以不能不这样痛斥“小臣”，来解消一重绝大的隐忧。
复奏疏的结论是，“自谓言动轻率，衍过多端”，惟有“席藁待罪，请听皇上处分”。
这个奏疏一上，皇帝尚无处置，却以耿介上了个奏折，“引疾乞休”以致节外生枝，为詹事对正詹尹泰的弹劾，说他“侥幸求去，实无痼疾”，当时也劾指汤斌所荐非人。这样复杂的情势，更以第三者的介人，益发搞得严重。
这个人名叫达哈塔，原是汉人，姓佟，入旗的汉人，照例在汉姓之下加“佳”氏，所以姓佟佳氏，他是原属多尔衮的正白旗籍，以翻译进士出点，当到吏部尚书，亦为东宫辅保之一，一则为汤斌、耿介不平，再则亦不愿卷人漩涡，所以上疏说道：“臣奉命辅导东宫，数日之内，负罪实多，以汤斌、耿介不能当其任，况庸陋如臣？乞准解退。”
这一下皇帝大为困扰，但亦愿采取独断独行的办法，只有将有关此事的奏疏，一并交吏部议复，复奏是汤斌、耿介、达哈塔俱应“革职”。
“耿介是东宫师傅，来了不多日子，革职回乡，这变得对不起人了！”皇帝深体人情，这样对吏部尚书李之芳说：“革职改为免职。他本是道员，以原品休致好了。”
李之芳原是承受明珠的指使，本无意与耿介为难，自然连声称是。
“汤斌与达哈塔，改为降五级留任。”皇帝又说，“汤斌原有些错，眼前略示薄惩，将来我自有恩典。”
虽然皇帝相当宽大，但明珠、余国柱、徐乾学、王鸿绪等人，却是大失所望，认为这样一个“大题目”都扳不倒汤斌，将来怕更难措手。需要再接再厉，再找一个题目，非把汤斌治倒了不可。
这个消息传到汤斌耳中，他不免叹息，汤夫人也知道这些情形，看他力疾从公，身体愈来愈坏，忍不住在侍奉汤斌的时候，要劝一劝他。
“你的做官，办公事，我从来不敢干预，如今必得要说了。”汤夫人问他：“你做官做得这么苦，到底为了什么？”
“读圣贤书，所为何事？你也应该懂啊？”
“我懂，”汤夫人说，“不过俗语说得好，‘留得青山在，不怕没柴烧’，现在是升平盛世，又不是刘皇叔在白帝城驾崩，诸葛武侯独力撑持，扶保幼主的情形可比，‘鞠躬尽瘁，死而后已’那两句话用不着。”
汤斌不作声，但口中无语，心头有感，而且感触不止一端，但他的性情是从来不知天下有所谓“苦”之一字的人；也不是有意求着“鞠躬尽瘁，死而后已”的心，只是伤心人别有怀抱。
在苏州的时候，春天他每天采巡抚衙门后园野生的荠菜佐餐；他的长子汤溥实在于心不忍，便劝他说：“爹爹，何必如此自苦？”
起先他戚然不答，说得次数多了，他才吐露他的本心：“你们祖母未殉难之前，每天所食，粗粝不堪，今天我幸而略有成就，但子欲养而亲不待，终天之恨，无由弥补，如果稍涉奢逸，我就不能安心。这些野生的荠菜之类，都是你祖母在流寇猖狂的那两年常吃的东西，我无可一日或
然而生母虽死，继母犹存，轩大夫人虽比他大不了几岁，毕竟名分是母亲，他想到复起服官，外则封疆，内则八卿，亦可说是位极人臣，轩太夫人应该是丫头老妈子一大堆跟在左右。然而从无一日的迎养，抚心自问，深为不安，如今又接得家书，说轩太夫人体弱多病，去日无多，应该及时告退回乡，稍稍承欢，才是为人子的道理。想到这里，端然动了归思。
汤夫人也赞成他辞官，颐养轩太夫人还在其次，汤斌本人的病就很多，必须有个较为清静的环境来调养。因此汤斌在她的极力劝说之下，亲自动笔，上奏陈情；这个奏折的事由是：“圣息高厚未报，微臣积病日深，谨披沥吁陈，祈赐解任回籍，以免旷职”；以下分作五段，第一段叙恩遇：
教里草茅愚陋，谬荷圣恩，起自田间。优擢侍役，三年谋幄，五月纶扉，星豉频屑，涓氵矣莫报。三吴繁剧之地，尤非薄窃所堪，桔据不遑业胜叠见，岂期未承严谴，复邀旷典，入侍青宫，宠遇之隆，无以加矣！
第二段叙病况：
来巨草木寸质，年逾六旬，精力衰惫，心血久枯，自六月内，胃部作痛，过服克伐之剂，元气益复虚损，饮食呕吐，怔忡健忘，神思恍惚，头目眩晕，因惩至上心切，犹强事药饵，力疾趋朝，冀追省德愆，薄收复效，不意于八月初七等日，呕血数次，病遂增剧，痰火上升，虚烦喘急，闻人声则惊惧，感微风则战惧，辗转床褥，形体仅存。
皇帝看到这里，恻然心伤，略停一停再看下去，下面是叙他母亲的病状：
臣继母素禀怯弱，夏月得家书，忽感半身不遂之症，臣方寸已乱；八月初十日复接家信，言臣母病至委顿，四肢拘挛，转侧须人，昼夜涕泣，思臣一见面，臣闻之肝肠迸裂，呕血几绝。按京臣省亲，具有定例，臣不敢破例请假，惟是巨病势危，万万不堪供职，仰祈我皇上圣心垂怜，赐臣解任回籍，庭母子得一相见，倘臣母得保余年，臣溘然长逝，亦无所恨。
于是，皇帝朱笔亲写一道慰留的手谕，命侍读学士德格勒去颁示。德格勒是旗人，跟李光地同年好友，旗人深通汉文的不多，所以德格勒自视甚高，平时最喜欢放言高论，批评别人的学问文章，但对汤斌是相当佩服的，所以皇帝派了他这样一个差使。
等到摆设香案，跪听宣谕以后，汤斌的心情相当复杂，感激与失望交并，而继母的病况，颇为严重，考虑再三，还是要上奏辞官。
他的第二道奏疏尚未着笔，皇帝倒先传旨召见了，“汤斌，”他说：“我知道你纯孝，视继母如生母，不过你又何忍舍我而去。我如今有个两全之计，我赐你一座住宅，你把你的继母，接了来奉养，不就行了吗？”
皇帝是想得很好，无奈事实上办不到，因为轩太夫人病势很重，长途跋涉，极其劳累；加以汤斌又绝不愿利用大臣的地位，要求沿途地方官办供应，瘦驴破车，鸡声茅店，从河南一路颠簸到京师，非送掉老命不可，而且轩太夫人足迹不出里门，也未见得能服京师的水土，所以汤斌坚辞不受。
“臣母已老，万不能来。”他磕着头说：“皇上不舍臣远离阙下，臣请解职回乡，省母以后，仍旧回京。明史大事，臣愿效余生，以白衣暂领史局。伏乞皇上天恩允准。”
“我实在不能放你。暂且过几天再说吧！”
这一过过了十天，不见皇帝提起，在汤斌焦急无计；在余国柱等人，却当他是恋栈，看皇帝不准他辞官，大失所望，因而一不做，二不休，放出去一个极恶毒的谣言。
这个谣言是说，皇帝对汤斌异常不满，因为他不识抬举，要拿他纳入旗籍，汉人入旗，变为满军；归一旗的都统管辖，指定地方居住，等于行动失去自由，从此怕回不得家乡了。所以一时关心汤斌的人，无不大为着急。正好汤斌上朝，因为病体衰弱，由人扶着上轿，见到的人，以为汤斌是被强制执行，奔走相告，说“汤尚书入旗了！”于是有人为他掉眼泪，有人为他奔走——大多是江南的京官，集会商议，决心去击“圣闻鼓”鸣冤。后来得到消息，说是属于误传，实际上并无其事，大家方始散去。
汤斌经此刺激，病体越发不支，但在这种局面之下，惟有委屈隐忍，抱病入宫；皇太子一看汤斌的脸，大惊失色，“师傅！”他说：“你病得这个样子！”
皇太子很敬重汤斌，当天就去见皇帝，将他的情形详细奏陈。皇帝考虑之下，认为汤斌不宜再担任辅导东宫的重任务，因而一面遣御医为他诊治；一面将他调为工部尚书。
就在这一天，内阁奉旨议事，汤斌因为东宫进讲的缘故，自然不能参加，只是忘掉声明；这一下，左都御史王鸿绪便又算抓住他的短处了，指使御史，上奏弹劾。
弹章一上，照例交议，余国柱等人所拟的处分是，降二级调用——降二级实在是降七级，因为汤斌原有降五级调用的处分，特旨留任，如果此时奉准调用，当然连同前案，一并计算，立刻可以降为从四品的官员。
这是恶毒得已非常露骨的手法，蓄意要撵走汤斌，吏部尚书陈廷敬，心怀不平，要为汤斌说话，“最近刚有同样的案子，失朝不过罚俸半年，”他说：“何以独对汤斌尚书不公？”
余国柱等人不听，照原议复奏，以为这下子一定可以把汤斌打下去了。
再也没有想到，皇帝的批示是：“着即留任。”一而再，再而三地扳�