Acteur de théâtre depuis 1933, dramaturge à ses heures et même metteur en scène, il est venu au cinéma par le biais de la télévision dans les années 50. Il débute avec un film sur la boxe : Requiem pour un champion (Requiem for a Heavy-Weight, 1962) et pendant une dizaine d'années met en valeur des vedettes consacrées dans les genres les plus variés : Alain Delon dans les Tueurs de San Francisco (Once a Thief, 1965), Sidney Poitier dans le Lys des champs (Lilies of the Fields, 1963), Cary Grant dans Grand Méchant Loup appelle (Father Goose, 1964), James Garner et Sidney Poitier dans la Bataille de la vallée du Diable (Duel at Diablo, 1966), Cliff Robertson dans Charly (id., 1968) et Robert Mitchum dans la Colère de Dieu (The Wrath of God, 1972). Son meilleur film est sans doute la Dernière Bagarre (Soldier in the Rain, 1963) écrit par Blake Edwards, une uvre étrange et mélancolique (avec Steve McQueen). L'ambitieux Soldat bleu (Soldier Blue, 1970) a été accusé de violence factice. Après ce western inégal mais très personnel et la Colère de Dieu, Ralph Nelson s'est fourvoyé dans le plaidoyer antiraciste sans force véritable (le Vent de la violence The Wilby Conspiracy, 1975) ou le film d'épouvante (Embryo, 1976).