Założony w 2003 roku na przedmieściach Baltimore w stanie Maryland, All Time Low zaczynał jako licealny zespół coverujący, zanim przekształcił się w melodyjny pop-punkowy zespół inspirowany takimi kultowymi kapelami jak New Found Glory i blink-182. Od przełomowego drugiego albumu So Wrong, It’s Right (2007) do ich szóstego LP Future Hearts (2015), zespół był filarem Warped Tour. Na późniejszym etapie kariery zespół zaczął więcej eksperymentować z popem, co można usłyszeć na albumie Last Young Renegade z 2017 roku. Na początku 2020 wraz z albumem Wake Up, Sunshine zespół wrócił do swoich punkowych korzeni.

Wokalista/gitarzysta Alex Gaskarth i gitarzysta Jack Barakat byli współzałożycielami All Time Low, a basista Zack Merrick i perkusista Rian Dawson dopełniali ich energetyczne pop-punkowe brzmienie i występy na żywo. Pomiędzy odrabianiem pracy domowej i innymi nastoletnimi zobowiązaniami, chłopaki wykorzystywali dłuższe przerwy w szkole i koncertowali po Wschodnim Wybrzeżu i Południu USA. Z pomocą lokalnej wytwórni Emerald Moon wydali EP-kę z czterema utworami, The Three Words to Remember in Dealing with the End w 2004 roku, a rok później ukazała się płyta The Party Scene.

Jeżdżąc po całych Stanach tego lata, chłopaki znaleźli się na listach przebojów z podobnymi zespołami, takimi jak Motion City Soundtrack, Early November i Plain White T’s. Po drodze All Time Low wpadł na pop-punkowców z Amber Pacific, którzy zwrócili uwagę na młody zespół ich wytwórni Hopeless Records. Wytwórnia była pod wrażeniem, a All Time Low oficjalnie stali się częścią rodziny Hopeless w marcu 2006 roku, zaledwie kilka miesięcy przed ukończeniem przez członków zespołu liceum. Po zakończeniu szkoły muzycy w końcu mogli skoncentrować się całkowicie na muzyce. Dzięki temu grupa wydała w lipcu Put Up or Shut Up – EP, które zawierało głównie nowe nagrania starszego materiału.