Nick Cave chtěl spolupracovat s Kylie od okamžiku, kdy slyšel její píseň Better the Devil You Know. Píseň vypráví příběh vraždy z pohledu vraha i jeho oběti. Videoklip byl inspirován obrazem od Johna Everetta Millaise Ofélie.
Album největších hitů Ultimate Kylie vyšlo v listopadu 2004. Na svou discích jsou hity z devíti Kylieiných alb spolu se dvěma zcela novými písněmi. I Believe in You napsala Kylie spolu se skupinou Scissor Sisters a Giving You Up se skupinou hudebních autorů známou pod jménem Xenomania. V Austrálii pak album vyšlo znovu jak set dvou CD a
Kompilace Hits+ nikdy nebyla propagována Kylie a jedná se spíše o pokus nahrávací společnosti vyřískat peníze z úspěchu alba Light Years.