We give optimal upper and lower bounds for the function $H(x,s)=\sum_{n\geq 1}\frac{1}{(x+n)^s}$ for $x\geq 0$ and $s>1$. These bounds improve the standard inequalities with integrals. We deduce from them inequalities about Riemann's $\zeta$ function, and we give a conjecture about the monotonicity of the function $s\mapsto[(s-1)\zeta(s)]^{\frac{1}{s-1}}$. Some applications concern the convexity of functions related to Euler's $\Gamma$ function and optimal majorization of elementary functions of Baskakov's operators. Then, the result proved for the function $x\mapsto x^{-s}$ is extended to completely monotonic functions. This leads to easy evaluation of the order of the generating series of some arithmetical functions when $z$ tends to 1. The last part is concerned with the class of non negative decreasing convex functions on $]0,+\infty[$, integrable at infinity. Nous prouvons un encadrement optimal pour la quantit\'e $H(x,s)=\sum_{n\geq 1}\frac{1}{(x+n)^s}$ pour $x\geq 0$ et $s>1$, qui am\'eliore l'encadrement standard par des int\'egrales. Cet encadrement entra{\^\i}ne des in\'egalit\'es sur la fonction $\zeta$ de Riemann, et am\`ene \`a conjecturer la monotonie de la fonction $s\mapsto[(s-1)\zeta(s)]^{\frac{1}{s-1}}$. On donne des applications \`a l'\'etude de la convexit\'e de fonctions li\'ees \`a la fonction $\Gamma$ d'Euler et \`a la majoration optimale des fonctions \'el\'ementaires intervenant dans les op\'erateurs de Baskakov. Puis, nous \'etendons aux fonctions compl\`etement monotones sur $]0,+\infty[$ les r\'esultats \'etablis pour la fonction $x\mapsto x^{-s}$, et nous en d\'eduisons des preuves \'el\'ementaires du comportement, quand $z$ tend vers $1$, des s\'eries g\'en\'eratrices de certaines fonctions arithm\'etiques. Enfin, nous prouvons qu'une partie du r\'esultat se g\'en\'eralise \`a une classe de fonctions convexes positives d\'ecroissantes.