Всё оказалось достаточно просто, в т.ч. "злой" ACL.
root@server# cat /etc/ntp.conf
server 192.168.20.254 prefer
server ntp.colocall.net
server ntp.tsua.net
driftfile /var/db/ntp.drift
restrict 127.0.0.1
restrict 192.168.20.254 mask 255.255.255.255 nomodify notrap noquery
restrict ntp.colocall.net mask 255.255.255.255 nomodify notrap noquery
restrict ntp.tsua.net mask 255.255.255.255 nomodify notrap noquery
restrict 100.100.232.0 mask 255.255.255.0 nomodify notrap
restrict 192.168.94.0 mask 255.255.255.0 nomodify notrap
restrict default ignore
NTPD слушает на всех интерфейсах, какие найдёт, поэтому нужно нарисовать грамотный ACL, чтоб кто попало не ломился.
К сетям 100.100.232.0/24 и 192.168.94.0/24 относятся адреса на интерфейсах данной машины. Поэтому для этих сетей разрешаем запросы, но запрещаем почти всё остальное.
Для 3-х серверов-источников запрещаем также запросы (но при этом мы сами можем опрашивать эти сервера, хе-хе).
Для себя, родимого локалхоста, разрешаем всё.
И для всех остальных - дефолтом болт.