Par défaut, si lors de l’installation de Magento, vous n’avez pas coché l’option rewrite_url, vos urls auront « index.php » juste après le nom de domaine. Pour l’enlever, car ce n’est pas très beau, il faut au préalable que mod_rewrite (un module Apache pour réécrire les urls) soit installé.
Une fois ce prérequis rempli, vous allez dans System > Configuration, puis sous General > Web, dans la section Search Engine Optimization, pour la dropdown list mettez sur ‘Yes’. Rafraichissez votre page administration et frontend.