Dans son adolescence il était passé à travers une porte vitrée et fut gravement blessé au bras droit. Les médecins ont pu sauver son bras, mais il en a toujours gardé des séquelles, il fut même reformé pendant la Seconde Guerre mondiale.

Peter Lawford deviendra citoyen américain en 1960, juste à temps pour voter pour son beau-frère John F. Kennedy.

Il s'est marié à quatre reprises. Il a épousé en premières noces, Patricia Kennedy, la sœur du président John F. Kennedy, en 1954. Ils auront quatre enfants, dont l'acteur Christopher Lawford. Ils divorceront en 1966.

Il a épousé sa seconde femme, Mary Rowan, la fille de Dan Rowan, en 1971. Ils ont divorcé en 1975. Sa troisième femme a été Deborah Gould de 1976 à 1977. Sa quatrième épouse est Patricia Seaton qu'il avait épousée en 1984 et qui lui survivra.

Lawford avait la réputation d'homme à femmes tout comme Howard Hughes et avouait avoir eu de nombreuses aventures avec des dames célèbres du cinéma, de la chanson et de la politique, telles Ava Gardner, Paulette Goddard, June Allyson, Lana Turner, Janet Leigh, Rita Hayworth, Dorothy Dandridge, Lucille Ball, Anne Baxter, Judy Holliday, Gina Lollobrigida, Judy Garland, May Wynn, Marilyn Monroe, Grace Kelly, Kim Novak, Jacqueline Kennedy Onassis, Lee Remick, Nancy Reagan, et Elizabeth Taylor pour ne citer que celles-là.

Peter Lawford est apparu pour la première fois au côté de Frank Sinatra dans la comédie musicale : "Tout le monde chante" en 1947.

Peter a fait partie du fameux "Rat Pack", avec Dean Martin, Sammy Davis Jr. et Frank Sinatra. Frank avait une grande amitié pour ses trois meilleurs amis, mais quand il entendit des rumeurs sur Peter Lawford et Ava Gardner comme quoi ils avaient été vus prenant le petit déjeuner ensemble, le sang de Frank n'a fait qu'un tour et aurait même menacé Peter de le corriger. Ses amis ont essayé de le convaincre qu'il n'y avait aucune relation entre Peter et Ava , mais Sinatra refusa de se réconcilier avec l’acteur et leur amitié sera définitivement rompue.

Peter Lawford est décédé à Los Angeles la veille de Noël 1984, des suites d’une maladie du foie et des reins aboutissant à un arrêt cardiaque.

Selon son fils, Christopher Kennedy Lawford, parlant au Larry King Show le 27 septembre 2005, aucun des membres du Rat Pack n'a assisté aux funérailles, même si un certain nombre des Lawford, cousins des Kennedy, y sont venus.

Son corps a été incinéré et ses cendres ont été dispersées dans l'océan Pacifique au large des côtes californiennes.

Il n'a jamais été nominé aux Oscars