Dernier né d'une famille juive de Constantine (Algérie) de 10 enfants, Alphonse Halimi est « adopté » par M. Dianoux, tailleur de son état à Alger et féru de boxe. Il commence lui-même à travailler comme tailleur à 12 ans chez Monsieur DURAND Avenue Malakoff, face au stade Marcel Cerdan.. Une bagarre dans les rues d'Alger lui ayant révélé son indéniable talent pour le combat, Dianoux le dirige alors vers le gymnase du Mouloudia.Excellent nageur de 100 m brasses, Alphonse Halimi choisit pourtant la boxe et coud lui-même son short rouge et vert décoré de l'étoile de David. Il remporte plus de 100 combats avant d'être remarqué par un entraîneur et de venir sur le continent. Champion de France poids coqs amateurs en 1953, 1954 et 1955, il gagne cette même année les Jeux méditerranéens et passe professionnel, managé par le célèbre "M. Filippi".
Le 1er avril 1957, au Vel' d'Hiv de Paris, Halimi devient champion du monde de boxe (poids coq) en battant le boxeur sourd-muet italien Mario d'Agata. Le combat a failli être interrompu, le plafonnier qui éclaire le ring ayant déclenché un incendie, dispersant des escarbilles sur les deux boxeurs... Sept mois plus tard, le 6 novembre 1957, au Wrigley Field de Los Angeles, il remporte le titre unifié de la catégorie et 50000 $, en battant aux points l'américain d'origine mexicaine Raul "Raton" Macias, devant 20000 spectateurs, en majorité hispaniques et franchement hostiles. Peu de temps avant le combat, il était allé prier dans une synagogue de Los Angeles.
Quoiqu'adulé dans son pays et sa ville d'origine, il vivra assez mal cette période passée au plus haut niveau: amis douteux, paris excessifs, séparation conjugale... Halimi perdra sa couronne en 1959 face à José Becerra, au Memorial Sport Arena de Los Angeles. Cela ne l'empêchera pas de devenir champion d'Europe des coqs en octobre 1960, titre qu'il reconquiert le 26 juin 1962 face à Piero Rollo, à Tel Aviv, pour le premier combat de boxe professionnel organisé en Israël.
Dans les années 1960, il s'installe à Vincennes où il tient un bar, avenue du Château. Il est ensuite recruté comme entraîneur à l’Institut national des Sports, futur INSEP. Malgré son expérience, il n'y est pas du tout respecté et se voit contraint de partir. Il deviendra ensuite maître nageur à Vichy, puis à Meudon.
Traversant difficilement les dernières années de son existence avec une maigre retraite, repoussant longtemps les mains secourables, il finira sa vie dans la douleur, atteint par la maladie d'Alzheimer, dans une maison de retraite à Saint-Ouen. Décédé le 12 novembre 2006, il est inhumé le 14 novembre 2006 au cimetière parisien de Pantin.
