Знаковая система, в которой приняты определённые правила записи чисел, называется … Варианты: языком; алфавитом; системой счисления; системой.

Правильный вариант — системой счисления.

Система счисления — это знаковая система, в которой числа записываются по определённым правилам.

Ответ: системой счисления.