У пристани стояли небольшие прогулочные катера.
Объяснение: Прилагательные "небольшие" и "прогулочные" стоят во множественном числе, поэтому существительное "катер" тоже должно быть во множественном числе. "Катер" во множественном числе именительного падежа — "катера".
Ответ: катера