Pierwsze koncerty grupy odbyły się jeszcze przed wydaniem debiutanckiego albumu. W tym czasie na żywo zespół wspierali perkusiści Parker Case albo Aaron Flora, a także basista Marcos Cole, który później na stałe wszedł w skład grupy.
W 2004 roku ukazała się pierwsza oficjalna EPka zatytułowana "Hellogoodbye", po czym grupę opuścił Aaron Flora. Jego miejsce zajął Chris Profeta. W takim składzie Hellogoodbye wyjechali w trasę koncertową po Stanach Zjednoczonych.
Pierwszy album zespołu ukazał się w sierpniu 2006 roku. Na "Zombies! Aliens! Vampires! Dinosaurs!" znalazły się głównie wcześniej prezentowane utwory w nowych wersjach. Jeszcze zimą tego samego roku zespół promował się w sieci, umieszczając tam wydawnictwo "Remixes". Można je było dostać jedynie w sklepie iTunes i na stronie zespołu w serwisie MySpace.
Na początku stycznia 2007 roku grupa wydała singiel "Here (In Your Arms)" , który obecnie ma status złotej płyty. Kolejny element internetowej promocji to trzy niepublikowane nigdzie indziej remiksy piosenki "All of Your Love".