En effet, un petit tail sur auth.log m'a donné la solution (à laquelle je n'aurais jamais pensé):
Aug 20 16:44:30 obelix sshd[1502]: Authentication refused: bad ownership or modes for directory /home/pampryl
Et en effet, le groupe a un droit d'écriture sur le dossier de la home...
chmod g-w /home/pampryl/
[^] # Re: Copy-id
Posté par pampryl . En réponse au message SSH et connection automatique. Évalué à 4.
Aug 20 16:44:30 obelix sshd[1502]: Authentication refused: bad ownership or modes for directory /home/pampryl
Et en effet, le groupe a un droit d'écriture sur le dossier de la home...
chmod g-w /home/pampryl/
Et ça marche...