À l’âge de 18 ans, James Brown part vivre aux USA pour y travailler en tant que forgeron. Dans le même temps, il y effectue sa formation de footballeur et est naturalisé américain, participant à la Coupe du Monde 1930 en Uruguay avec les États-Unis. 2 ans plus tard, il rejoint Manchester United depuis le Brooklyn Wanderers. Pendant 2 ans, il affiche de plutôt belles performances sous Scott Duncan mais son passage tourne court suite à un conflit avec la direction. Il est finalement vendu en seconde division du côté de Brentford pour 300£.