Пусть количество зеленых карандашей равно \(x\). Тогда количество синих карандашей равно \(5x\). Количество всех карандашей равно 17. Поскольку красных карандашей меньше, чем синих, их количество целое число и меньше чем количество синих, мы можем определить, что \(x\) может быть только 1 или 2.
Если \(x = 1\), тогда синих карандашей \(5 * 1 = 5\). Тогда количество красных карандашей \(17 - 1 - 5 = 11\). Но 11 больше чем 5, а по условию красных карандашей меньше чем синих.
Если \(x = 2\), тогда синих карандашей \(5 * 2 = 10\). Тогда красных карандашей \(17 - 2 - 10 = 5\).
Итак, в коробке 2 зеленых, 10 синих и 5 красных карандашей.
Ответ: 5 красных карандашей.