a) Ta có:

Gọi O là tâm đường tròn ngoại tiếp tam giác đều ABC, cạnh a

=> bán kính đường tròn ngoại tiếp là: $R=\frac{a.\sqrt3}{3}$

Ta có:

\(\eqalign{& \overrightarrow {MA} = \overrightarrow {OA} - \overrightarrow {OM} \cr & {\overrightarrow {MA} ^2} = {(\overrightarrow {OA} - \overrightarrow {OM} )^2} = {\overrightarrow {OA} ^2} + {\overrightarrow {OM} ^2} - 2\overrightarrow {OA} .\overrightarrow {OM} \cr & \Rightarrow {\overrightarrow {MA} ^2} = 2{R^2} - 2\overrightarrow {OA} .\overrightarrow {OM} (1) \cr} \)

Tương tự ta có:

\(\eqalign{& M{B^2} = {\overrightarrow {MB} ^2} = 2{R^2} - 2\overrightarrow {OB} .\overrightarrow {OM} (2) \cr & M{C^2} = {\overrightarrow {MC} ^2} = 2{R^2} - 2\overrightarrow {OC.} \overrightarrow {OM} (3) \cr} \)

Từ (1), (2) và (3) suy ra:

 \(M{A^2} + M{B^2} + M{C^2} = 6{R^2} - 2\overrightarrow {OM} (\overrightarrow {OA}  + \overrightarrow {OB}  + \overrightarrow {OC} )\)

Tam giác \(ABC\) là tam giác đều nội tiếp đường tròn tâm \(O\) nên \(O\) cũng là trọng tâm của tam giác \(ABC\).

Suy ra \(\overrightarrow {OA}  + \overrightarrow {OB}  + \overrightarrow {OC} = \overrightarrow  0\)

=> \(M{A^2} + M{B^2} + M{C^2} = 6{R^2}=6.(\frac{a\sqrt3}{3})^2 \)

Vậy  \(M{A^2} + M{B^2} + M{C^2}  = 2a^2\)

b)

Ta có:

\(\eqalign{& \overrightarrow {NA} = \overrightarrow {NO} + \overrightarrow {OA} \cr & \Rightarrow {\overrightarrow {NA} ^2} = {\overrightarrow {NO} ^2} + 2\overrightarrow {NO} .\overrightarrow {OA} + {\overrightarrow {OA} ^2} \cr} \)

Tương tự ta có:

\(\eqalign{& {\overrightarrow {NB} ^2} = {\overrightarrow {NO} ^2} + 2\overrightarrow {NO} .\overrightarrow {OB} + {\overrightarrow {OB} ^2} \cr & {\overrightarrow {NC} ^2} = {\overrightarrow {NO} ^2} + 2\overrightarrow {NO} .\overrightarrow {OC} + {\overrightarrow {OC} ^2} \cr & \Rightarrow N{A^2} + N{B^2} + N{C^2} = 3N{O^2} + 2\overrightarrow {NO} (\overrightarrow {OA} + \overrightarrow {OB} + \overrightarrow {OC} ) + O{A^2} + O{B^2} + O{C^2} \cr} \) 

Vì \(O\) là trọng tâm của tam giác

⇒ \(\overrightarrow {OA}  + \overrightarrow {OB}  + \overrightarrow {OC}  = \overrightarrow 0 \)

⇒ \(N{A^2} + N{B^2} + N{C^2}=3N{O^2} +3.R^2\)

Để \(NA^2+ NB^2 + NC^2\) nhỏ nhất $\Leftrightarrow 3.NO^2$ nhỏ nhất

                                           $\Leftrightarrow N\equiv H$ 

(với H là hình chiếu vuông góc của O trên d)