鲍德温是一个有名无姓的私生子，直到他那当女仆的母亲爱玛·琼斯嫁给戴维·鲍德温之后，他才有了姓。继父是一位热衷于传道布教的牧师，期望能借助宗教忘却人间的烦恼。而难以改变的现实让他的脾气日渐乖戾暴躁。继父对鲍德温的影响是很大的：鲍德温的作品中到处可见宗教题材和比喻、传教布道式的文体以及严肃的道德观念。家庭对鲍德温的另外一个影响是，爱玛和戴维又生了八个孩子，鲍德温从来没有过童年。他喜欢阅读，却只能一手抱着孩子，一手拿着书。他在这些书里逐渐意识到了“黑人问题”，“我生来是一个黑人，因此，不得不与这个现实休战”，“我被迫承认我过去总要隐藏的某些东西”，“我恨白人，怕白人”，“我鄙视黑人，或许是因为黑人中没有诞生过一个伦勃朗”。鲍德温寄望以写作来寻求答案，“我想做一个诚实的人，做一个好作家”。