1882年1月末，梵高和酗酒的妓女西恩相識并在一起，西恩比梵高年長三歲，當(dāng)時已經(jīng)懷孕，還帶著她五歲大的女兒。后來西恩產(chǎn)下了一個孩子，起名威廉，威廉一度以為梵高是他的生父。梵高的父親知道了這個事，非常生氣，認(rèn)為丟人，要求他們分手，1883年末，他們終于分手了，西恩又成為了妓女，在梵高死14年后，西恩投水自盡。梵高的《悲傷》，畫于1882年，可以看到，在畫中西恩還挺著大肚子。

《悲傷》，1882 ，黑色粉筆素描 44.5x27cm?

在這之前一年，1881年8月，梵高愛上了他新寡的表姐科妮莉亞，表姐比他大七歲，還有一個八歲的兒子，梵高向她求婚，被拒絕。科妮莉亞也馬上離開，從此再沒有見面。梵高仍然未對表姐科妮莉亞死心，而科妮莉亞的父母則說梵高的堅(jiān)持“令人惡心”。在絕望中，梵高在手上寫下“我能在火上忍多久，就讓我和她在一起多長時間”，然后將手放在燈火上烤。最后他的叔叔把火熄滅，將他救了下來。但科妮莉亞的父親說：考慮到梵高連支撐自己的收入都沒有，他倆根本就沒有一絲可能。梵高后來據(jù)此繪制了《埃滕花園的記憶》。

《埃滕花園的記憶》，1888，圣彼得堡埃爾米塔日博物館

在這之后一年，1884年，有一個鄰居的女兒瑪戈特·貝格曼，愛上了梵高，她比梵高大十歲，他們準(zhǔn)備結(jié)婚，但是雙方父母都反對，也沒結(jié)成?，敻晏仄髨D以滅鼠藥自殺，但被梵高緊急送到醫(yī)院。

再過一年，1885年，梵高被人指控，讓農(nóng)家的一個模特懷了孕。神父于是禁止村民為梵高做模特兒。

梵高一生未結(jié)婚，也沒有后代。