在广外就读两年之后，因为学术上的往来，翁帆从最初对杨振宁学识的仰慕发展到相知相惜，两颗心跨越了年龄逐渐靠拢。“2004年，我们才正式交朋友。在当年（2004年）11月之前，我们已经互相了解了很多，包括各自性格、家庭情况等。
在我给她打电话求婚时，其实双方都已经考虑很成熟了，所以一点波折都没有，我就求婚成功了。”杨振宁对媒体自述自己的求婚过程时，态度非常坦然。说在求婚之前有送过玫瑰，只是求婚是通过电话完成。
杨振宁也亲口承认过，跟翁帆结婚，是因为2003年10月前妻杜致礼的去世。“在太太去世后，19世纪英国著名数学家哈密顿过了相当漫长的孤独日子，甚至在书页上都有饮食的污渍，我不要过这样的日子。呵呵，我这个人是很老实的。我自己有自知之明，一个老年人的孤独，我很怕的。所以人家一问我，我就很老实的回答，如果我没遇到翁帆，还是会再婚的。”
与杨振宁订婚之后，翁帆睡了一个午觉，休息得非常好，“那几天我一直很忙，也很累，当时我觉得，如果继续这样子下去，我肯定会累坏的。我想我的休息一下，于是，我睡了午觉，睡得很沉。”
28岁：引爆大众窥私欲
跟杨振宁在一起后的翁帆，翁帆脸上又出现了小女孩般的笑容。无论是2004年12月24日平安夜注册结婚，还是之后去海南度蜜月，去北海旅游。
翁帆还没有意识到大众舆论的恐怖，开心地戴着遮阳帽，笑眯眯地跟在这个弥补了自己第一段失败婚姻的老人身后。
那时候的着装也是粉白、粉蓝，少女气十足的颜色，配着重新振作的容颜，倒也不显突兀。
但两人关系曝光之后，民众对于名人隐私的疯狂追捧，带给翁帆和家人的压力不言而喻。
翁帆本人早年是会接受媒体采访的，她本人和她父亲，甚至她周围的朋友，都在努力借着每一个机会向媒体澄清，翁帆并没有那么多民众猜测的污浊心思。然而，这些澄清的阅读量，永远敌不过“翁帆寂寞发情诗”、“翁帆生的出小孩吗？”、“杨振宁死后遗产如何分配”等等世俗的文章。
以至于最后只要杨振宁一出现，人们立即就会去寻觅翁帆的身影。“以前只看过照片，她长得很漂亮，还有书卷气。我想知道他们夫妻的幸福生活是怎么维系的。”南京大学数学系女生小张对媒体说的这句话，最能代表普通民众的心理。
虽然杨振宁夫妇很乐意配合媒体，甚至“十指紧扣”这个词已经成为媒体形容他们夫妇的招牌名词。但翁帆的面容却越来越暗淡，不笑、黑脸、嘴角八字纹，都成为大众舆论恣意评判她的证据。
30岁：没有怀孕也不宜要小孩
丈夫年迈带给翁帆的，除了对于结婚动机的恶意揣测，还有传统文化对于“无后为大”的嘲笑。
2006年，翁帆30岁的时候，网络开始恶搞她怀孕生子谣言。网民像遇到了一个难得的发泄机会，将这个传言冠以“本年度最佳笑话”等字眼恶意散播。
人们嘲笑的，无非是这对老夫少妻的床笫生活，以及对于翁帆老年生活隐含的恶意揣测。这样一个惊世骇俗的女人，最后老年生活没有孩子陪伴，多么“大快人心”。这种坏结局，才符合网民认为她做出“不要脸之事应得的惩罚”。
杨振宁对此公开澄清“孩子问题，是任何一个婚姻都无法避免的问题……其中的原因实在太复杂，我也无法详细说……我想我们不宜要孩子，因为我一直在想，如果我不在了，翁帆一个人带着一个或者两个孩子，那将是很困难的事。”
35岁：再次返校就读建筑学博士
翁帆这个人，逃避现实困难的方法，就是躲回学校。
跟前夫离婚之后是选择再次攻读研究生，跟杨振宁再婚备受关注，又选择到清华大学建筑系深造博士学位。
“师妹的老公都拿诺贝尔奖了，（我）表示压力很大。”2011年9月，水木清华网站一名网友就爆料，翁帆在清华大学建筑学院攻读博士学位。清华随后也证实，翁帆目前在清华大学建筑学院建筑历史专业攻读博士学位。
正如翁帆的“师兄”发贴所流露出来的羡慕之情所暗示的那样：别人付出多少努力都未能如愿读清华博士，翁帆悄无声息的就成了清华园的博士生，还用说什么呢？
38岁：结婚十年寡淡平凡
但读书并不能完全化解生活矛盾。
翁帆的生活方式，在结婚前倾向西式：她喜欢喝咖啡，深夜还和朋友在网上聊天，早上起得很晚。婚后，她渐渐把自己的作息时间调整得和先生一样，早睡早起，很有规律。
一般来说，他们每天早上8点准时起床，香港的家里没有请保姆，翁帆就自己动手准备两人的早餐：两杯牛奶、几片烤面包、两个煎蛋，简单而有营养。吃过早餐，杨振宁去学校上班。这几年，他的工作主要是利用自己的国际影响力，为香港中文大学和清华大学引进学术顶级人才、筹款发展高等学术研究工作。