Ответ:

  1. There is a little water in the glass. — OK
  2. There are a few potatoes in the cupboard.
  3. I can’t do this work. I’ve got very little time. — OK
  4. There is a little milk in the bottle.
  5. I’ve got a little chocolate. — OK

A few употребляется с исчисляемыми существительными во множественном числе, a little — с неисчисляемыми существительными.