Група була заснована в Саммерлін (Summerlin), провінційному районі Лас-Вегаса, двома друзями дитинства - гітаристом Райаном Россом (Ryan Ross) і барабанщиком Спенсером Смітом (Spencer Smith). Коли обом було по 13, друзі переспівували пісні blink-182 з різними складами групи. Потім, Сміт і Росс створюють нову групу під назвою Pet Salamander (Домашня Саламандра) з двома іншими друзями, Брентом Вілсоном (Brent Wilson) і гітаристом Тревором Хоувелом (Trevor Howell), який пізніше залишив групу.
Перед туром і під час нього, групу ставили виступати в самому кінці, що означало її зростаючу популярність: вона була висунута вище Acceptance, які виходили другими після хедлайнера фестивалю і A Fever You Can not Sweat Out перевершував в ціні дебютної альбом групи The Academy Is ... Almost Here під час їх спільного туру.
Тільки через кілька днів після відходу Вілсона, група влаштувала їх перший тур по Європі, де головною командою були вони, з давнім другом, Джоном Уолкером, який був узятий для літнього туру як тимчасовий басист, поки розшукувалася вже постійна заміна Бренту. Всі квитки були розкуплені, іноді вони розходилися навіть за кілька годин, як було в Манчестері. За їх повернення, група зробила, ще один, двомісячний північноамериканський хедлайнерскій тур з The Hush Sound, OK Go, The Dresden Dolls, і LucEnt DosSieR Vaudeville Cirque, все ще спільно з Джоном Уолкером як тимчасовим басистом.
Rob Mathes, хто продюсував альбом, описав його як «найістотніший проект, який я зробив, в один і той же час є молодим і інтенсивним, заповзятливим і нескінченно творчим.» «Робота з цими молодими людьми, змусила мене дивитися на музику, як я робив це раніше, коли відкрив для себе пісні The Who і Брайана Іно (Brian Eno) - період Девіда Боуї (David Bowie), в мої 16. я переповнений вдячністю цього проекту ». Раніше група планувала працювати над своїм альбомом вшити з Денні Елфманом (Danny Elfman), який працював над музикою в мультфільмі «Кошмар перед Різдвом».
Кращі підбори акордів