Ответ:

Пусть \(\overrightarrow{AC}=\mathbf c\), \(\overrightarrow{AA_1}=\mathbf h\). Условие о квадрате AA₁CC₁ означает \(|\mathbf c|=|\mathbf h|\) и \(\mathbf c\cdot\mathbf h=0\). Так как призма прямая, \(\mathbf h\) перпендикулярен плоскости основания, в частности \(\overrightarrow{AB}\cdot\mathbf h=0\).

\(\overrightarrow{AB_1}=\overrightarrow{AB}+\mathbf h\), а \(\overrightarrow{CA_1}=\mathbf h-\mathbf c\). Тогда их произведение равно \((\overrightarrow{AB}+\mathbf h)\cdot(\mathbf h-\mathbf c)=\overrightarrow{AB}\cdot\mathbf h-\overrightarrow{AB}\cdot\mathbf c+|\mathbf h|^2-\mathbf h\cdot\mathbf c\). Остаётся \(|\mathbf h|^2-\overrightarrow{AB}\cdot\overrightarrow{AC}\).

По изображению не указано, что основание ABC равностороннее или заданы его углы/длины; поэтому \(\overrightarrow{AB}\cdot\overrightarrow{AC}\) нельзя определить численно. Достаточно известных данных только для общей формулы. Чтобы получить число, нужны размеры/угол основания (либо условие, что ABC — равносторонний треугольник).