养父在东京府任土木科长，家道是没落的旧世家，虽小有财产，却也要撙节度日，按照芥川的自述，养父家属于“中产阶级的下层，为维持体面，不得不格外苦熬”（《大导寺信辅的半生·贫困》）。这样的家庭，家教之严格，礼法之繁缛，作为养子的龙之介，少不得事事都要学会隐忍。养父一家颇好文艺，具有江户文人趣味，故芥川自幼便受传统文化的熏陶，很早即接触日本和中国古典文学。
尽管大姨母富纪一生未嫁，犹如生母一般养育、呵护龙之介，但是，因爱成恨，彼此伤害的事，自是难免。芥川曾对作家佐藤春夫说过：“造成我一生不幸的，就是某某。说来她还是我唯一的恩人呢。”
生母发狂，为人养子，个性压抑，终生背着精神负累，这是芥川龙之介与生俱来的不幸，是他的命运。他弃世前给挚友小穴隆一的遗书中写道：“我是个养子。在养父家里，从未说过任性的话，做过任性的事（与其说是没说过、没做过，倒不如说是没法说、没法做更合适）。……目下，自尽在即。也许这是我此生唯一的一次任性吧。我也与所有的青年一样，有过种种梦想，可如今看来，我毕竟是疯子所生的儿子。”看得出，芥川终其一生，为生母发狂，为养子身份，而苦恼不已。