Ответ:

Aᵀ=(1 −3; −1 0; 2 1; 4 3; 5 2). Скалярные произведения строк дают AAᵀ=(47 21; 21 23), поэтому det(AAᵀ)=47·23−21²=640. Размеры AAᵀ и AᵀA — 2×2 и 5×5; их разность не определена.

Ответ: det(AAᵀ)=640; выражение AAᵀ−AᵀA не имеет смысла.