Ответ:

а) Разделим обе части равенства на \(3ab^2\): \(M=\frac{6a^5b^3}{3ab^2}=2a^4b\).

б) Извлекаем квадратный корень: \(M=\pm\sqrt{25x^6y^2}=\pm5x^3y\), поскольку при возведении в квадрат знак исчезает.

Ответ: а) \(M=2a^4b\); б) \(M=5x^3y\) или \(M=-5x^3y\).