回忆艰辛的童年时，莱德坦诚地说：“小时候，我家很穷，父母没有学识、没有技能，只能靠卖苦力谋生。那时，父亲是一名水手，他每年都要冒着生命危险，奔波在大西洋各个港口之间。我那时常常想，我们这样地位卑微的黑人，怎么才能有出息呢？我的一生不过也会像父亲工作的船只一样，四处漂泊，居无定所。”
直到10岁那年，父亲带莱德去参观凡·高的故居。小男孩并没有看到他想象中的富丽堂皇的大房子，而只是看到那张著名的嘎吱作响的小木床和那双龟裂的皮鞋。小小少年心中充满了疑惑，他不解地问父亲：“凡·高不是世界上最著名的大画家吗？大画家不都是百万富翁吗？”父亲回答他说：“凡·高的确是世界著名的画家，但是，他也是一个和我们一样的穷人，甚至是一个一辈子连妻子都娶不上的穷人。”这一件事给小莱德极大的震撼。