这些被李敖俯视，被他臣服的女人，只是被动地付出她们的爱，并没有接受过许多来自李敖的爱情。从他时常在杂志上骂女人的那些话来看，他根本搞不懂女人，甚至有些憎恨女人。譬如李敖如此武断地教导女人：有感性无性感者，可做女作家；有性感无感性者，可做女明星；无感性无性感者，可做欧八桑；有感性有性感者，这种人不存在。他还从大男人主义的立场说：你无法避免不与女人打交道，但你若在不可高估、不可倚恃的对象上过度动情，你就难免是婪娘养的了。
对这个既不懂女人，亦不懂爱情的自大狂男人，他的前任妻子胡茵梦给了他一个最好的定论：”在 感性层面李敖抱持的是传统未解放的男性价值观，似乎只有性这件事是优于其他各种感受的。然而他的性，也带有自囚的成分，即使在最亲密的时刻，他仍然无法充分融入你的内心。多年的牢狱生活，他已经太习惯于意瘾，但意念是物化的，因此在最基本的人之大欲上他是相当物化的，精神层面的展现几乎完全被压抑了。换言之，你感觉不到他内心深处的爱；似乎展现忘我的爱对他而言是件羞耻的事。“
李敖虽然见一个爱一个，但并没有始乱终弃而是善始善终情至意尽。他们还有一个共同点，就是无论曾经与多少女人有过关联，他们的心里始终牵挂着一个最值得他们牵挂的女人，前者有张爱玲，后者有胡茵梦。这些令他们念 念不忘的女人，也成全了他们的无论是好名声也好抑或坏名声也好，反正都令他们名声更加大噪，更加与众不同。