Ответ:

Пусть основание системы счисления равно b. Тогда A = 10, B = 11, а равенство принимает вид:

\(b^2-(10b+11)=b+1\).

Перенесём всё в левую часть: \(b^2-11b-12=0\).

Разложим на множители: \((b-12)(b+1)=0\). Основание должно быть не меньше 12, чтобы в записи присутствовали цифры A и B. Подходит b = 12.

Ответ: в двенадцатеричной системе счисления.