Son diminutif lui vient de son instrument favori : la harpe.

Il est le troisième fils de Minnie et Sam 'Frenchie' Marks.

Harpo se maria avec l'actrice Susan Fleming le 28 septembre 1936. A la différence de ses frères (les Marx Brothers) qui furent mariés plusieurs fois, le seul mariage d'Harpo dura toute sa vie. Le couple adopta quatre enfants (Bill, Alex, Jimmy et Minnie.)

Harpo changea son prénom Adolph en Arthur en 1911, principalement parce qu'il n'aimait pas ce prénom (enfant, il préférait se faire appeler Ahdie). Les rumeurs selon lesquelles ce changement d'identité a été motivé soit par un sentiment anti-allemand apparu avec la Première Guerre Mondiale, soit par son homonymie avec Adolf Hitler après que celui-ci fut nommé chancelier d'Allemagne sont donc infondées, ces deux évènements étant ultérieurs à 1911.

Le personnage.

Dans les films des Marx Brothers, il se caractérise par le fait qu'il soit muet bien que parlant dans la vie courante. Il se distingue de ses frères en jouant de la harpe et en étant presque continuellement vêtu d'un trench-coat et d'un haut de forme. Son personnage attachant et drôle, est le plus comique des quatre car il agit en permanence comme un enfant avec son manteau gris rempli d'objets aussi insolites les uns que les autres. On note par exemple dans La Pêche au trésor qu'on y trouve une jambe de mannequin, un boulier, un chien, des boîtes de sardine, des casseroles, une main mécanisée, une enseigne de coiffeur...