Nazwa zespołu pochodzi od piosenki zespołu Name Taken, ale chłopaki z Panic! At The Disco uparcie twierdzą, że inspiracją był utwór "Panic" zespołu The Smiths. Cała czwórka chciała, by usłyszało ich jak najwięcej przyszłych fanów. Zespół skontaktował się więc z basistą Fall Out Boy Petem Lentzem i wysłał mu adres swojej strony na portalu PureVolume. Podobno Wentz był pod tak wielkim wrażeniem, że postanowił spotkać się z grupą Panic! At The Disco osobiście. Zaraz po spotkaniu zaproponował im kontrakt z własną wytwórnią Decaydance.
Zespół nie tracił czasu. We wrześniu 2005 roku ukazał się jego debiutancki album zatytułowany "A Fever Can't Sweat You Out". Pani! At The Disco już wtedy zyskali wielu fanów dzięki promowaniu się w sieci - przed wspomnianą już stronę PureVolume, jak również przez portal MySpace, gdzie znaleźli się wśród najczęściej słuchanych artystów. Zaraz po tym zespół wystąpił w programie MTV Total Request, a klip do "I Write Sins Not Tragedies" został uznany za najlepszy w czasie rozdania nagród MTV w 2006 roku. Sam utwór dostał się na 7. miejsce listy przebojów w Stanach Zjednoczonych.
Na początku 2006 roku zespól opuścił Brent Wilson. Grupa jednak bez problemu poradziła sobie z tą stratą i niebawem w czasie europejskiej trasy grał już Jon Walker. Tournee okazało się wielkim sukcesem, a bilety wysprzedawały się w ciągu kilku godzin. Zaraz po powrocie z Europy Panic! At The Disco wyruszyli w trasę po USA, a w sierpniu tego samego roku ich płyta zyskała status platyny. Koniec 2006 roku to kolejna trasa koncertowa. Tym razem zespół odwiedził Australię, Nową Zelandię i część krajów europejskich.