a) $x^2-2(m+1)x+2m+10=0$

$\Delta' = [-(m+1)]^2 - 1\times (2m+10) = m^2 -9$

Để phương trình có hai nghiệm thì $\Delta' \geq 0 \Leftrightarrow m^2 - 9 \geq 0 \Leftrightarrow \left[ \begin{matrix}m \geq 3\\ m \leq -3\end{matrix}\right.$

b) Với $\left[ \begin{matrix}m \geq 3\\ m \leq -3\end{matrix}\right.$ thì phương trình có hai nghiệm.

Theo hệ thức Vi-et, ta có: $\left\{\begin{matrix}x_1+x_2 = 2(m+1)\\ x_1\times x_2 = 2m +10\end{matrix}\right.$

Ta có:

$A = 10x_1\times x_2 + x_1^2 + x_2^2 = 10x_1\times x_2 + (x_1+x_2)^2 - 2x_1\times x_2 = 8x_1\times x_2 + (x_1+x_2)^2 $

$= 8(2m+10)+4(m+1)^2 = 16m+80+4m^2+8m+4 = 4m^2+24m+84$

$= 4(m^2 + 2m\times 3 + 9 + 12) = 4[(m+3)^2+12] = 4(m+3)^2 +48$

Lại có: $(m+3)^2 \geq 0 \;\forall m \in $ ĐK có nghiệm

$\Rightarrow 4(m+3)^2 +48 \geq 48 \;\forall m \in $ ĐK có nghiệm

Vậy min (A) = 48 $\Leftrightarrow m = -3$ (tm)