苏轼家境不错，母亲程氏出身名门，颇有生意头脑，虽然爷三个都待在家里死读经书，但日子也还过得去。
苏家有个邻居也是有钱人家，家有小女初长成，经常听到苏轼读书的声音，不免春心骚动，“一夕来奔”，大致是想和苏轼拥抱一下，但苏轼没有同意。那个有钱人家的小姑娘大概长得也挺可爱，所以苏家就“约以登第后聘以为室”，也就是等到考取进士以后再娶人家。
可是苏轼考取进士以后，“别娶仕宦”。——有种说法是，苏轼听说女方家庭名声不佳，“欲逃窜山林”。最后，苏洵不得不写了封辞亲信。过了很久，有一天苏轼突然想起了这个邻家小姑娘，就“访问其所适何人”，才知道小姑娘已经“守前言不嫁而死”，苏轼顿时感到了一丝惭愧。等到因“乌台诗案”而被贬至黄州，日子不免孤独寂寞，就写了一首词，《卜算子·黄州定慧院寓居作》：
《秋庭戏婴图》（南宋）苏汉臣
缺月挂疏桐，漏断人初静。谁见幽人独往来？缥缈孤鸿影。
惊起却回头，有恨无人省。拣尽寒枝不肯栖，寂寞沙洲冷。