После "Perkele" из-за непреодолимых стилистических разногласий группу покинул брат Мики Киммо. В феврале 1996 Мика, Антилла, Ярва и новый ударник Келлокоски (Kellokoski) выпускают альбом "Latex Cult". 14 песен (31 мин) провозглашаются как "Nuclear Metal". Крайний индивидуализм Мики сначала нашёл отражение в крайнем сатанизме, он же увёл группу, начиная с "Suomi Finland Perkele" в сторону от блэк-металла, и она окончательно потеряла свой культовый статус первых дней. Избавившись от сатанизма, она занялась рок'н'роллом с элементами хард-кора, а её неизменно быстрая, брутальная и экстремальная музыка стала сочетаться с шутками попойки. Мика стал попирать идеалы блэка, что нашло отражение в его сольных проектах DIABOLOS RISING и RAISM. В конце февраля 1996 выходит ЕР "Motorpenis". После этого релиза группу оставляет Ярва и его место занимает Лехто Саари (Lehto Saari, ex-BELIAL). Люттинен уже называет стиль своего состава "Finnish Drunken Sado Metal" и утверждает, что играет микс из краст-кора, SODOM и MOTORHEAD. На вышедшем в апреле 1998 альбоме "Rapture" звучание стало опять быстрым и отдалённо стало напоминать две первые пластинки. Но окончательного возврата к прошлому не произошло.

В декабре 1999 к группе присоединяется Алекси Лайхо (Alexi Laiho, ex-THY SERPENT, CHILDREN OF BODOM, SINERGY). Он иногда выступает с IMPALED NAZARENE, но не считает себя постоянным участником группы. С ним записывается новая пластинка "Nihil" (март 2000). Видимо, приход нового гитариста смог повлиять на звучание адских финнов - оно стало смесью из трэша, блэка и даже дэта. Сборник "Decade Of Decadence", увидевший свет в феврале 2001, содержал редкий студийный материал, обе ЕР, всевозможные демо-записи. Седьмой номерной альбом "Absence Of War Does Not Mean Peace" (38 мин) появился уже в ноябре 2001 и стал смесью всех тех направлений, которыми отличались безумные финны. Алекси Лайхо ушёл из группы перед записью пластинки и был заменён на Теему Райморанто (Teemu Raimoranto), а басист Яни Лехтосаари (Jani Lehtosaari), сменивший Ярву Лехтосаари перед записью 'Rapture', заменён на Микаэля Арнкила (Mikael Arnkil). Работа над "Absence Of War Does Not Mean Peace" была завершена в студии Finnvox с продюсером Миккой Кармила.