27 Dub
2020
27 Dub
'20
22:49
Dobrý den,
dnes po mnoha dnech (měsíců) bezproblémového provozu knot-resolveru
4.2.2 najednou přestal vracet odpovědi na dotazy.
Využívá jej několik tisíc klientů, tak nebyl moc čas na experimerny a
reboot celého stroje pomohl... Ale jen asi na 15min. Pak opět přestal
vracet záznamy, jako by je neměl. Opět reboot a to vydrželo fungovat asi
1.5h a opt přestal komunikovat. To už začalo být vážné, takže jsme
spoustu DNS dotazů na routrech přesměrovali na 8.8.8.8. Mezi tím opět
restart a nyní to již téměř 2h funguje bez problémů.
Vím, že nyní již existuje knot-resolver verze 5.0.1, ale zajímá mě, zda
uvedený problém je známy, jen jsem se sním do dnes nesetkal a v další
verzi opraven, nebo se jedná o neevidovanou anomálii. V logách jsem
totiž našel jen toto:
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Watchdog
timeout (limit 10s)!
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Killing
process 382 (kresd) with signal SIGABRT.
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Main process
exited, code=killed, status=6/ABRT
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Failed with
result 'watchdog'.
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Service
RestartSec=100ms expired, scheduling restart.
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Scheduled
restart job, restart counter is at 1.
Předpokládám, že tato nemilá reakce knot-resolveru byla způsobena
nějakým "spatným" dotazem, ať náhodným nebo záměrným.
Nyní jsme opět zrušili přesměrovaní na 8.8.8.8 a téměř okamžitě přestal
odpovídat:
dig @192.168.100.100 -t AAAA www.seZNAm.cz
; <<>> DiG 9.11.5-P4-5.1-Debian <<>> @192.168.100.100 -t AAAA
www.seZNAm.cz
; (1 server found)
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: SERVFAIL, id: 64547
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 1
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;www.seZNAm.cz. IN AAAA
;; Query time: 0 msec
;; SERVER: 192.168.100.100#53(192.168.100.100)
;; WHEN: Po dub 27 22:32:04 CEST 2020
;; MSG SIZE rcvd: 42
Děkuji za pomoc
Zdeněk Janiš
8:08
English version:
Version 4.2.2 has known vulnerabilities (CVE-2019-19331), please upgrade to latest
version. 5.1.0 is tentatively scheduled for release tomorrow.
Security
--------
- fix speed of processing large RRsets (DoS, #518)
- improve CNAME chain length accounting (DoS, !899)
Czech version:
Dobrý den.
Watchdog pravděpodobně znamená, že jde o CVE-2019-19331 opravené ve verzi 4.3.0.
Problém s "okamžitým" SERVFAILováním zatím neznáme - až aktualizujete na
poslední verzi (nejlépe 5.1.0 která vyjde pravděpodobně zítra), tak můžeme sbírat
informace a uvidíme, co se objeví (nebo taky neobjeví).
Petr Špaček @ CZ.NIC
On 27. 04. 20 22:49, Zdenek Janis wrote:
Dobrý den,
dnes po mnoha dnech (měsíců) bezproblémového provozu knot-resolveru 4.2.2 najednou
přestal vracet odpovědi na dotazy.
Využívá jej několik tisíc klientů, tak nebyl moc čas na experimerny a reboot celého
stroje pomohl... Ale jen asi na 15min. Pak opět přestal vracet záznamy, jako by je neměl.
Opět reboot a to vydrželo fungovat asi 1.5h a opt přestal komunikovat. To už začalo být
vážné, takže jsme spoustu DNS dotazů na routrech přesměrovali na 8.8.8.8. Mezi tím opět
restart a nyní to již téměř 2h funguje bez problémů.
Vím, že nyní již existuje knot-resolver verze 5.0.1, ale zajímá mě, zda uvedený problém
je známy, jen jsem se sním do dnes nesetkal a v další verzi opraven, nebo se jedná o
neevidovanou anomálii. V logách jsem totiž našel jen toto:
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Watchdog timeout (limit 10s)!
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Killing process 382 (kresd)
with signal SIGABRT.
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Main process exited,
code=killed, status=6/ABRT
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Failed with result
'watchdog'.
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Service RestartSec=100ms
expired, scheduling restart.
Apr 27 18:17:56 knot-resolver systemd[1]: kresd(a)4.service: Scheduled restart job, restart
counter is at 1.
Předpokládám, že tato nemilá reakce knot-resolveru byla způsobena nějakým
"spatným" dotazem, ať náhodným nebo záměrným.
Nyní jsme opět zrušili přesměrovaní na 8.8.8.8 a téměř okamžitě přestal odpovídat:
dig @192.168.100.100 -t AAAA www.seZNAm.cz
; <<>> DiG 9.11.5-P4-5.1-Debian <<>> @192.168.100.100 -t AAAA
www.seZNAm.cz
; (1 server found)
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: SERVFAIL, id: 64547
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 1
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;www.seZNAm.cz. IN AAAA
;; Query time: 0 msec
;; SERVER: 192.168.100.100#53(192.168.100.100)
;; WHEN: Po dub 27 22:32:04 CEST 2020
;; MSG SIZE rcvd: 42
Děkuji za pomoc
Zdeněk Janiš
8:49
Dalším zkoumáním se ukázalo, že ono to "okamžité" je v podstatě postupné
(máme 4 instance na jednom stroji), ale je tam takový provoz, že to
uniklo pozornosti. Při omezení provozu se ukázalo, že přestávají
odpovídat jednotlivé instance. Stačilo restart:
systemctl restart kresd(a)[1234].service
a opět vše funkční. Upgrade určitě udělám. Jen by mě zajímalo co je
spouštěčem? Protože se tato chyba vyskytla náhle po několika měsíčním
bezproblémovém provozu.
Děkuji.
Dne 28. 04. 20 v 8:08 Petr Špaček napsal(a):
Watchdog pravděpodobně znamená, že jde o
CVE-2019-19331 opravené ve verzi 4.3.0.
Problém s "okamžitým" SERVFAILováním zatím neznáme - až aktualizujete na
poslední verzi (nejlépe 5.1.0 která vyjde pravděpodobně zítra), tak můžeme sbírat
informace a uvidíme, co se objeví (nebo taky neobjeví).
--
Zdeněk Janiš
9:40
Please communicate in English so other participants can benefit or reply as well.
CVE-2019-19331 and its trigger is described here:
https://gitlab.labs.nic.cz/knot/knot-resolver/issues/518
https://nvd.nist.gov/vuln/detail/CVE-2019-19331
https://bugzilla.redhat.com/show_bug.cgi?id=CVE-2019-19331
We do not know enough about "SERVFAIL loop" you mentioned in the previous e-mail
so I not have more information about its trigger.
If it happens again on version 5.1.0 enable verbose debugging as described here
https://knot-resolver.readthedocs.io/en/latest/config-logging-monitoring.ht… (possibly
using
https://knot-resolver.readthedocs.io/en/latest/daemon-scripting.html#contro…) and
send logs to this list.
To counter any potential problems similar to this configure
https://knot-resolver.readthedocs.io/en/latest/modules-watchdog.html, it will monitor and
restart instances independently.
I hope it helps.
Petr Špaček @ CZ.NIC
On 28. 04. 20 8:49, Zdeněk Janiš wrote:
Dalším zkoumáním se ukázalo, že ono to
"okamžité" je v podstatě postupné (máme 4 instance na jednom stroji), ale je tam
takový provoz, že to uniklo pozornosti. Při omezení provozu se ukázalo, že přestávají
odpovídat jednotlivé instance. Stačilo restart:
systemctl restart kresd(a)[1234].service
a opět vše funkční. Upgrade určitě udělám. Jen by mě zajímalo co je spouštěčem? Protože
se tato chyba vyskytla náhle po několika měsíčním bezproblémovém provozu.
Děkuji.
Dne 28. 04. 20 v 8:08 Petr Špaček napsal(a):
> Watchdog pravděpodobně znamená, že jde o CVE-2019-19331 opravené ve verzi 4.3.0.
>
> Problém s "okamžitým" SERVFAILováním zatím neznáme - až aktualizujete na
poslední verzi (nejlépe 5.1.0 která vyjde pravděpodobně zítra), tak můžeme sbírat
informace a uvidíme, co se objeví (nebo taky neobjeví).
1464
days inactive
1465
days old
knot-resolver-users@lists.nic.cz
4 comments
3 participants
participants (3)
-
Bjoern Franke -
Petr Špaček -
Zdenek Janis