幼年的张爱玲（左）与弟弟
孙用蕃出嫁前也是个人物，对于张爱玲的“攻击”，她是不可能一直忍让的。那年张爱玲中学毕业，其生母（黄素琼）恰巧回国。这当口，她向父亲提出要出国留学。张廷众暴跳如雷，他一直认为前妻抛弃这个家就是留洋学坏了，如今女儿又学样来揭他的伤疤，这还得了！
孙用蕃很清楚，让张爱玲留学是黄素琼的主意，这么做费钱不说，明摆着是女人之间微妙的“夺女大战”，便忍不住当场斥责张爱玲：“你母亲离了婚还要干涉你们家的事。既然放不下这里，为什么不回来？可惜迟了一步，回来只好做姨太太！”
埋在两人心里的雷终于炸开。孙用蕃清楚，这个姑娘是留不住了。后来就有了有名的、被张爱玲写进《私语》里的“一记耳光”事件。孙家后人回忆说，当时孙用蕃没有像《私语》里写的那样“骂开了”，也没有“打嘴巴子”，只是在被张爱玲推的时候闪了腰，“哎哟”了一声，事后张廷众也没对女儿拳打脚踢。张爱玲所记录的自己被痛打一顿后关禁闭是扭曲夸张的。她的确是在家里被“隔离”了一段日子，但那是因为她得了疟疾，怕传染给家人。
少女时期的张爱玲与姑姑
后来，张爱玲在自传体小说《雷峰塔》的第三章中改变态度忏悔了，说是“误解了、亵渎了后母孙用蕃的一番良苦用心”。
同榻之好，家族败落
对于治家和为人妻，孙用蕃自然有她的一套办法。
张爱玲在文中写孙用蕃一嫁过去，就怂恿张廷众搬家换用人。实际上，在大户人家里，但凡给人做继室的主妇，都会采取换用人的方法来稳固自己在家庭里的地位。孙用蕃从小生活在总理府，对管理下人的那套办法熟稔于心，换点孙家的老用人过来，不但生活起居上照料起来方便，也可以让自己多几个忠诚的“贴心人”。
转眼张廷众要过40岁生日了。孙用蕃极力张罗此事，生日过得十分风光，张廷众表示十分满意。至于花了多少钱，她是不考虑的。她这个女主人，只管用钱，家里的账本是张廷众管着。实际上，在铺张、奢靡的用度上，张廷众比孙用蕃更为舍得。若夫妇俩只是吃吃喝喝，也花不了很多。要命就要命在两人都吸鸦片上！吸鸦片费钱又消磨人的意志，此后，这个家便开始败落了。
张爱玲
1946年，张爱玲的弟弟张子静前往中央银行扬州分行工作。此时，张爱玲早已离家出走。张廷众写信给儿子张子静叫他回上海分担家用，张子静回信让他们先把鸦片戒了。此事便没了结果。