Jego zainteresowanie muzyką swoje początki miało w twórczości grupy Bee Gees, a szczególnie w muzyce z "Gorączki sobotniej nocy". Później zafascynowało go znacznie cięższe brzmienie od Faith No More, przez Metallicę po Slayera. W roku 1993, wraz z Daronem Malakianem, założył zespół Soil, na którego gruzach, w roku 1995, powstała formacja System of a Down.
Razem z System of a Down Serj nagrał pięć albumów, które znalazły ogromne uznanie wśród fanów rocka, sprzedały się w kilkumilionowym na nakładzie oraz przyniosły zespołowi nagrodę Grammy i kilka nominacji do tego wyróżnienia. Równolegle artysta wspomagał innych muzyków - nagrywając z nimi oraz prowadząc własny label - Serjical Strike Records. W Serjical Strike Records wydał także płytę "Serart", którą nagrał z Arto Tunçboyacıyan (znanym ormiańskim artystą folkowym pochodzącym z Turcji).
Tankian jest także zaangażowany politycznie. Wraz z Tomem Morello (Rage Against the Machine i Audioslave) założył organizację Axis of Justice, której celem jest wspólna walka różnych środowisk o sprawiedliwość społeczną. Po zamachach z 11 września 2001 roku Serj na stronie internetowej System of a Down zamieścił tekst, w którym starał się tłumaczyć przyczyny postępowania terrorystów, jednak wytwórnia wkrótce usunęła tę informację z sieci.
Na październik 2007 roku zapowiedziana jest premiera pierwszej solowej płyty wokalisty, zatytułowanej "Elect the Dead". Album promuje singiel z nagraniem "The Unthinking Majority".