Анджелина е родена на 4 юни 1975 г. в семейството на американския актьор Джон Войт и френската актриса Маршелин Бертран. Кръстниците ѝ са също актьори – Жаклин Бисет и Максимилиан Шел. Родителите ѝ се развеждат, когато е на година. Живее с брат си при майка си. Има трудно и бедно детство. Първите ѝ изпълнения на театрална сцена са, когато на 11 години постъпва за две години в школата за театър и кино на Лий Страсбърг в Лос Анджелис. През ученическите си години в Beverly Hills High School се чувства аутсайдер заради нестандартния си външен вид, навика си да се облича с дрехи втора употреба и слабото си тяло.

Джоли е преживявала епизоди на самоубийствена депресия през тийнейджърските си години, а също и в началото на двадесетте си години. Тя се чувствала изолирана в гимназията сред децата на някои от най-богатите семейства в района, докато с майка си са оцелявали с доста по-скромен доход. Съучениците я дразнели по повод на това, че била изключително слаба и носила очила и метални скоби за корекция на зъбите. Било ѝ е трудно да се свързва емоционално с други хора. По-късно Джоли признава, че се чувствала силно потисната и нещастна, смятала, че е безполезна и в резултат започва да се самонаранява, като се е порязвала с остър нож. Започва също да експериментира с наркотици; казва, че на 20-годишна възраст вече е опитала „всички възможни наркотици“, включително хероин. На тази възраст Анджелина се обличала само с черни дрехи, боядисвала косите си червени и по собствените ѝ признания се ненавиждала.