据《汉书·司马相如传》记载，西汉时期，有个叫司马相如（前179—前117）的人，他爱好读书，还会击剑，但家境贫寒，幸与临邛（qióng）县令王吉相熟，被安顿在城外的“都亭”中。
卓王孙是临邛的富户，想与司马相如相识，几次邀请，均遭拒绝。后经王吉相迎，才应邀赴宴。在宴会上，司马相如奏琴，博得众人称赞，躲在屏风后面的卓王孙的女儿卓文君十分爱慕他。相如作了一曲《凤求凰》，文君听了，立即明白了相如的情意。两人秘密约定，半夜离开临邛县，回到了相如的故乡成都。
司马相如非常贫穷，他们家里除了四周的墙壁外，一无所有，但文君毫不计较。卓王孙不肯救济女儿，文君便和相如一起回到临邛，以卖酒为生，给卓王孙难堪。卓王孙无奈，只好分给文君一笔家产，打发他们离开临邛。
于是，相如和文君在成都购买田宅，过上了幸福的生活。
“家徒四壁”形容家中贫困、一无所有的情形。