那时高里奥还付着一千二百法郎的膳宿费。伏盖太太觉得，一个富翁有四五个情妇很自然，把情妇说成女儿也很巧妙。他把她们召到伏盖公寓里来，她并不生气。不过，正因为有这些女人来找，房客高里奥才对她冷淡，所以她在第二年年初便管他叫老公猫。到他降到九百法郎之后，有一次伏盖太太看见其中一个女子下楼，就很不客气地问他，打算把她的公寓当作什么地方。高老头回答她说，这位女士是他的大女儿。
“这么说，您有三打女儿了？”伏盖太太尖刻地说。
“我只有两个，”高老头接过话头说道，口气温和像个破了产的人，什么苦难都可以逆来顺受。
快满第三年的时候，高老头再度节省开支，搬上四楼，每月的膳宿费只交四十五法郎了。他戒了烟，辞了理发师，头上也不再扑粉了。高老头第一次不扑粉露面，房东太太看见他头发的颜色，禁不住惊叫起来，原来他的头发是灰里带绿的难看暗色。由于心里闷着发愁，他不知不觉面露愁容，日甚一日，似乎成了饭桌周围最苦恼的脸。如今是毫无疑问的了。高老头是个老风流；治他那种病的药有副作用，若不是医生有本事，他的眼睛早就保不住了。他的头发颜色之所以那么恶心，就是由于他纵欲过度，而且服用维持纵欲的药物。老头儿的身心状况，使传来传去的这类闲话显得有根有据。当初带来的漂亮衣服穿得不能再穿了，他买十四个苏一码的棉布代替。金烟盒、金链子、钻石和首饰，一样一样都不见了。他告别了浅蓝色礼服和所有高档服装，不分冬夏，只穿一件栗色粗呢外套、羊毛坎肩、灰色厚呢长裤。他越来越瘦，腿肚子掉了下去；从前因心满意足而鼓起的脸上，如今皱得不成样子，脑门上也起了皱纹；牙巴骨显了出来。他住到圣热内维埃芙新街的第四年上，已经变得面目全非。六十二岁时好样的面条商，看上去不到四十；发福的胖老板，春风得意，风流倜傥，教路人看了也痛快，笑容也颇有青春气息；这时却像七十老翁，恍恍惚惚，蹒蹒跚跚，面色如土。当初那么炯炯有神的蓝眼睛，变成了铁灰色，黯淡无光；眼泪水也不流了，发红的眼缘好似在淌血。有些人觉得他可憎，有些人觉得他可怜。一帮年轻的医科学生注意到他下唇低垂，量了量他面角的顶部，盘问了他半天一无所获，就说他得了克汀病。有天晚上，吃过饭，伏盖太太挖苦地对他说：“喂！她们就不来看您了吗，您那些女儿？”口气之间对他的父亲身份表示怀疑。高老头不由一震，仿佛被房东太太用锐器刺了一下。
“有时候来的。”他声音激动地回答。
“喔！喔！有时您还见她们！”那些大学生齐声嚷道，“真了不起，高老头！”
可是，老人并没听见他的答话所引起的嘲笑，又陷入沉思默想之中。光从表面观察他的人，以为那是头脑愚钝，老糊涂了。倘使对他很了解了，也许大家会对他的物质和精神境况所面临的问题兴趣盎然；可是那比什么都难。要了解高里奥是否真的做过面条生意，究竟有多少财产，都不是难事；无奈那些注意他的老年人，从来不走出本区的范围，老待在公寓里，就像牡蛎黏附着岩石；至于别的人，在巴黎生活特有的影响下，一旦走出圣热内维埃芙新街，就把他们所调侃的可怜老头忘在了脑后。这些思想狭隘的人和无忧无虑的年轻人，都认为以高老头那种寒酸，那种糊里糊涂的样子，根本谈不上有什么财产和能耐。至于他称为女儿的那些女人，大家都同意伏盖太太的意见；伏盖太太讲起话来，自有一套严密的逻辑；上了年纪的女人都这样，到了晚上就以嚼舌为事，对什么事都爱乱猜；她说：“要是高老头真有那么有钱的女儿，像来看他的那些女士，他决不会住在我的四楼上，每月只付四十五法郎的膳宿费，也不会穿得像个穷人了。”没有一件事情可以推翻这类结论。所以到一八一九年十一月底，这场悲剧发生的时候，公寓里每个人都对可怜的老头儿有了十分确定的看法。他压根儿不曾有过什么妻子、女儿；因作乐过度而变成了一个蜗牛，一个人形的软体动物，可以归入低级帽壳类，一位包饭客人，博物馆职员如是说。跟高里奥比较起来，波阿莱就成了雄鹰，成了绅士。波阿莱会讲话，会理论，会对答；虽然他的讲话、理论、对答，跟没说一样，因为他惯于用别的字眼重复旁人的话；但他毕竟有助谈话，他是活的，似乎有感觉；然而高老头，照那博物馆职员的说法，在温度计上永远指着零度。