Пусть вместо звёздочки стоит многочлен $$X$$. Тогда:
$$(5a^3 - 2ab + 6b) - X = 4a^3 + 8b$$
$$-X = 4a^3 + 8b - (5a^3 - 2ab + 6b)$$
$$-X = 4a^3 + 8b - 5a^3 + 2ab - 6b$$
$$-X = (4a^3 - 5a^3) + 2ab + (8b - 6b)$$
$$-X = -a^3 + 2ab + 2b$$
$$X = a^3 - 2ab - 2b$$
Ответ: $$\mathbf{a^3 - 2ab - 2b}$$