Jimmy Murphy a été embauché en 1945 par Matt Busby, devenant coach en chef du staff mancunien. Ensemble, les deux hommes vont mener les Red Devils vers plusieurs succès et Murphy va également se distinguer comme étant à la tête de la formation des ”Busby Babes”. Bobby Charlton déclarera plus tard :

”Murphy était un très grand enseignant. La plus grande influence dans ma carrière.”

Le 6 février 1958, Manchester United vit un jour sombre avec le crash de Munich. Par chance, Murphy n’était pas dans l’appareil (il était avec l’équipe nationale du Pays de Galles). Apprenant la nouvelle, il effectue le voyage jusqu’en Allemagne pour se rendre compte de l’ampleur des dégâts et rend visite à l’hôpital aux joueurs blessés ainsi qu’à Matt Busby qui était en soins intensifs. À son retour à Manchester, Jimmy Murphy prend en charge l’équipe qui est totalement décimée et rajeunie. Son bilan n’est pas des plus incroyables mais il parviendra à mener Manchester United jusqu’en finale de la FA Cup (perdue 0-2 face à Bolton). En Coupe d’Europe, les Mancuniens seront éliminés en 1/2 finale par le grand Milan AC.

Au retour de Matt Busby pour le début de la saison 1958-1959, Jimmy Murphy devient alors le fidèle adjoint de l’Écossais. Scruté par de près par de nombreux clubs européens pour le poste d’entraîneur, il refuse toutes propositions et continue à réaliser un travail honorable dans la reconstruction de l’équipe. Plus tard, les deux hommes mèneront Manchester United à une victoire en Coupe d’Europe en 1968, 10 ans après le crash de Munich. En 1973, il devient recruteur pour le club au cours du mandat de Tommy Docherty.

Il décèdera à l’âge de 79 ans en 1989. En sa mémoire, le Jimmy Murphy Player Of The Year est créé, ce trophée annuel du club visant à récompenser le meilleur jeune de la saison. En 2021, le club annonce qu’une statut de Murphy sera érigée à Old Trafford, en mémoire à sa contribution exceptionnelle pour Manchester United.