Ta có :

a.  $5\sqrt{a}-4b\sqrt{25a^{3}}+5a\sqrt{16ab^{2}}-2\sqrt{9a}$

=  $5\sqrt{a}-4b\sqrt{5^{2}a^{2}.a}+5a\sqrt{4^{2}ab^{2}}-2\sqrt{3^{2}a}$

=  $5\sqrt{a}-20ab\sqrt{a}+20ab\sqrt{a}-6\sqrt{a}=-\sqrt{a}$

Vậy  $5\sqrt{a}-4b\sqrt{25a^{3}}+5a\sqrt{16ab^{2}}-2\sqrt{9a}=-\sqrt{a}$

b.   $5a\sqrt{64ab^{3}}-\sqrt{3}.\sqrt{12a^{3}b^{3}}+2ab\sqrt{9ab}-5b\sqrt{81a^{3}b}$

=   $5a\sqrt{8^{2}abb^{2}}-\sqrt{3}.\sqrt{2^{2}a^{2}b^{2}.3ab}+2ab\sqrt{3^{2}ab}-5b\sqrt{9^{2}a^{2}ab}$

=   $40ab\sqrt{ab}-6ab\sqrt{ab}+6ab\sqrt{ab}-45b\sqrt{ab}=-5ab\sqrt{ab}$

Vậy  $5a\sqrt{64ab^{3}}-\sqrt{3}.\sqrt{12a^{3}b^{3}}+2ab\sqrt{9ab}-5b\sqrt{81a^{3}b}=-5ab\sqrt{ab}$