Выполним упрощение выражений.
1) $$
\frac{m^3n^5}{8} : (2m^3n^2)^2 = \frac{m^3n^5}{8} : 4m^6n^4 = \frac{m^3n^5}{8} \cdot \frac{1}{4m^6n^4} = \frac{m^3n^5}{32m^6n^4} = \frac{n}{32m^3}
$$
2) Домножим первую дробь на $$\frac{x+3}{x+3}$$, чтобы получить общий знаменатель.
$$
\frac{3}{x-3} - \frac{x+15}{x^2-9} - \frac{2}{x} = \frac{3(x+3)}{(x-3)(x+3)} - \frac{x+15}{x^2-9} - \frac{2}{x} = \frac{3x+9 -x-15}{x^2-9} - \frac{2}{x} = \frac{2x-6}{x^2-9} - \frac{2}{x}
$$
$$
= \frac{2(x-3)}{(x-3)(x+3)} - \frac{2}{x} = \frac{2}{x+3} - \frac{2}{x} = \frac{2x-2(x+3)}{x(x+3)} = \frac{2x-2x-6}{x(x+3)} = \frac{-6}{x(x+3)}
$$
3) $$
(\frac{m^2}{n^3})^2 : 2m^4\cdot \frac{n^6}{9} = \frac{m^4}{n^6} : 2m^4\cdot \frac{n^6}{9} = \frac{m^4}{n^6} \cdot \frac{1}{2m^4} \cdot \frac{n^6}{9} = \frac{m^4n^6}{18m^4n^6} = \frac{1}{18}
$$
4) Общий знаменатель первой скобки ab, приводим к общему знаменателю:
$$
(\frac{a}{b} + \frac{b}{a} - 2) \cdot \frac{1}{a-b} = (\frac{a^2}{ab} + \frac{b^2}{ab} - \frac{2ab}{ab}) \cdot \frac{1}{a-b} = \frac{a^2+b^2-2ab}{ab} \cdot \frac{1}{a-b} = \frac{(a-b)^2}{ab} \cdot \frac{1}{a-b} = \frac{a-b}{ab}
$$
5) $$
\frac{3a^2b}{x^2} : \frac{1}{ab^2} : \frac{3a^2}{xb} = \frac{3a^2b}{x^2} \cdot ab^2 \cdot \frac{xb}{3a^2} = \frac{3a^3b^3x}{3a^2x^2} = \frac{ab^3}{x}
$$
Ответ: 1) $$\frac{n}{32m^3}$$, 2) $$\frac{-6}{x(x+3)}$$, 3) $$\frac{1}{18}$$, 4) $$\frac{a-b}{ab}$$, 5) $$\frac{ab^3}{x}$$