Для исчисляемых существительных, обозначающих неопределенное количество, используется "a little" или "little". "Time" в данном контексте является неисчисляемым существительным.
"Much" и "many" используются для других типов существительных. "Many" используется с исчисляемыми существительными, "much" - с неисчисляемыми.
"A little" означает "немного", "несколько" (с положительной коннотацией). "Little" означает "мало", "почти нет" (с отрицательной коннотацией).
Фраза "They should be quick!" (Им нужно поторопиться!) предполагает, что времени мало. Поэтому используется "little".