Album největších hitů Ultimate Kylie vyšlo v listopadu 2004. Na svou discích jsou hity z devíti Kylieiných alb spolu se dvěma zcela novými písněmi. I Believe in You napsala Kylie spolu se skupinou Scissor Sisters a Giving You Up se skupinou hudebních autorů známou pod jménem Xenomania. V Austrálii pak album vyšlo znovu jak set dvou CD a
DVD KylieFever2002: Live in Manchester bylo natočeno 4. května 2002 v rámci koncertního KylieFever2002. DVD obsahuje celý dvouhodinový koncert, 30 minut záběrů ze zákulisí, živé projekce a fotogalerii. Limitovaná edice obsahuje i bonusové CD.
DVD Live in Sydney je záznam živého koncertu On a Night Like This Tour. Kromě záznamu vystoupení jsou součástí nosiče i záběry ze zákulisí.
Album Fever vyšlo 1. října 2001. Kylie na něm spolupracovala se známými autory jako jsou Cathy Dennis, Rob Davis a Tom Nichols. Cílem práce bylo vytvořit mnohem více sexy taneční hudbu.