Ответ:

Из условия:

\[\frac{a+2b}{a}=11\Rightarrow a+2b=11a.\]

Тогда \(2b=10a\), поэтому \(b=5a\) и \(\frac{a}{b}=\frac{1}{5}\).

Вычислим искомую дробь:

\[\frac{(a-3b)^2}{b^2}=\left(\frac{a-3b}{b}\right)^2=\left(\frac{a}{b}-3\right)^2=\left(\frac{1}{5}-3\right)^2=\left(-\frac{14}{5}\right)^2=\frac{196}{25}.\]

Ответ: \(\frac{196}{25}\).