Ответ:

Упростим числитель и знаменатель:

\((-2a^2)^4=16a^8\), \((-ab^2)^3=-a^3b^6\), \(8(a^3b)^3=8a^9b^3\).

Тогда

\[\frac{16a^8\cdot(-a^3b^6)}{8a^9b^3}=-2ab^3.\]

Преобразуем значения: \(a=\frac78\), \(b=-1\frac17=-\frac87\).

\[-2ab^3=-2\cdot\frac78\cdot\left(-\frac87\right)^3=\frac{1024}{49}.\]

Ответ: \(-2ab^3\); при указанных значениях \(\frac{1024}{49}\).