Ответ:

Пусть сторона квадрата равна 1; зададим координаты: \(A=(0,0)\), \(B=(1,0)\), \(D=(0,1)\). Так как \(AMD\) — равносторонний треугольник внутри квадрата, \(M=(\frac{\sqrt3}{2},\frac12)\).

Векторы \(\overrightarrow{MA}=(-\frac{\sqrt3}{2},-\frac12)\) и \(\overrightarrow{MB}=(1-\frac{\sqrt3}{2},-\frac12)\). По формуле скалярного произведения косинус угла между ними равен \(\frac{1-\frac{\sqrt3}{2}}{\sqrt{2-\sqrt3}}=\frac{\sqrt{2-\sqrt3}}{2}=\cos 75°\).

Ответ: \(\angle AMB=75°\).