پدر گوگن تنها دو سال بعد از تولدش در راه مهاجرت به پرو درگذشت و از شانس خوب، مادر پل که با او و خواهرش در راه پرو بیوه شده بود، از طرف یکی از بستگان‌اش که پسرخوانده‌ی خوزه رفینو اچنیک بنتوانته [José Rufino Pompeyo Echenique Benavente] که بین سال‌های 1851 تا 1855 رئیس جمهور پرو بود، پذیرفته و حمایت شد. همین باعث شد پل گوگن به امکانات زیادی دسترسی داشته باشد و دوران کودکی‌اش، البته تا پیش از 6 سالگی، را در رفاه و به‌خوبی سپری کند.
حامیان مادر گوگن در سال 1854 قدرت سیاسی‌شان را از دست دادند و درنتیجه گوگن از امکاناتی که داشت محروم شد و بار دیگر همراه با مادری که از آن زمان به بعد با خیاطی امرارمعاش می‌کرد، به پاریس برگشت. مادر پل گوگن در سال 1867 و زمانی که او در خدمت نیروی دریایی فرانسه و دور از خانه بود، درگذشت. پرتره‌ی زیر تصویری از مادر پل گوگن است:
