Ответ:

Aᵀ=(0 1 2 3; −1 1 1 2). Тогда AᵀA=(14 9; 9 7), следовательно, det(AᵀA)=14·7−9²=17. Матрицы AAᵀ и AᵀA имеют размеры 4×4 и 2×2, поэтому их разность не определена.

Ответ: det(AᵀA)=17; выражение AAᵀ−AᵀA не имеет смысла.