Ответ:

Из условий \(a\ge0\), \(b\ge0\): \(\sqrt[4]{a^{16}b^8}=a^4b^2\), а \(\sqrt{\sqrt[4]{a^{40}}}=\sqrt{a^{10}}=a^5\).

Перемножаем: \(a^4b^2\cdot a^5=a^9b^2\).

Ответ: \(a^9b^2\).