5) AB * BA = ...;

Векторы AB и BA противоположно направлены, то есть угол между ними 180 градусов. Длина каждого из них 6. Скалярное произведение равно |AB| * |BA| * cos(180) = 6 * 6 * -1 = -36. Ответ -36.