Provoz DNS crawleru
Sdružení CZ.NIC jako správce národní domény .cz pravidelně prochází a kontroluje všechny registrované domény druhé úrovně. Používá k tomu softwarový nástroj zvaný DNS crawler. Hlavním cíle jsou tyto:
- Zlepšovat kvalitu a správnost DNS dat včasným detekováním problémů v obsahu zón nebo v jejich konfiguraci, například vypršení platnosti DNS klíčů, použití slabých kryptografických algoritmů anebo zacyklených záznamů typu CNAME.
- Odhalovat zlovolné aktivity a bezpečnostní problémy, jakými jsou třeba podvodné e-shopy nebo domény využívané pro provoz botnetů.
- Automaticky klasifikovat domény podle konfigurace a obsahu zóny DNS, implementace a verze softwaru mailových, webových a DNS serverů, jakož i obecného charakteru obsahu hlavní webové stránky domény (pokud existuje).
DNS crawler je navržen tak, aby všechna data sbíral účelně a nedotazoval se opakovaně na stejnou informaci. Dodatečná zátěž internetové infrastruktury, kterou způsobuje, by měla být zanedbatelná v porovnání s běžným provozem.
CZ.NIC se rozhodl být maximálně otevřený, pokud jde o informace týkající se provozu DNS crawleru:
- Používaný software je open source a tudíž dostupný každému k použití a nezávislému prověření.
- IP adresy počítačů, na nichž DNS crawler běží, jsou stabilní a veřejné (viz níže).
- DNS crawler se připojuje pouze k těmto cílovým portům: 53 (UDP & TCP), 25 (TCP), 80 (TCP), 443 (TCP), 465 (TCP) a 587 (TCP).
- Data, která DNS crawler sbírá, a pravidla jejich využití jsou specifikovány níže; všechny případné změny rozsahu dat a pravidel budou předem veřejně oznámeny na této stránce.
Jediný aspekt provozu DNS crawleru, který CZ.NIC nezveřejňuje, je seznam domén druhé úrovně v zóně .cz.
Počítače, na nichž běží DNS crawler
- crawler-1.labs.nic.cz (IPv4: 217.31.192.34, IPv6: 2001:1488:ac15:ff40::34)
- crawler-2.labs.nic.cz (IPv4: 217.31.192.35, IPv6: 2001:1488:ac15:ff40::35)
- crawler-3.labs.nic.cz (IPv4: 217.31.192.36, IPv6: 2001:1488:ac15:ff40::36)
- crawler-4.labs.nic.cz (IPv4: 217.31.192.37, IPv6: 2001:1488:ac15:ff40::37)
Sbíraná data a rozvrh provozu
DNS crawler sbírá níže uvedená data, a to pro všechny domény druhé úrovně pod .cz:
- DNS data, která jsou důležitá z hlediska správného fungování systému DNS, tedy zdrojové záznamy typu NS, SOA, MX, RRSIG a další. Záznamy typu A nebo AAAA jsou sbírány pouze pro webové, mailové a DNS servery každé domény.
- Data obsažená v bannerech SMTP, tedy úvodních odpovědích mailových serverů uvedených v záznamech typu MX a naslouchajících na portech 25, 465 a 587.
- Metadata hlavních webových stránek (
<doména>.cz
a www.<doména>.cz
) na portech 80 a 443, například HTTP status a hlavičky nebo úplný řetěz certifikátů pro HTTPS.
- Obsah hlavních webových stránek na portech 80 a 443, včetně obrázků, CSS a JavaScriptu.
V běžném provozním režimu je DNS crawler pravidelně spouštěn se dvěma různými periodami – týdně a měsíčně – podle povahy získávaných dat. Některé domény jsou však za určitých okolností skenovány každý den po dobu 30 dnů, aby se případné zlovolné aktivity nebo konfigurační problémy odhalily co nejdříve. To se týká těchto případů:
- nově vytvořené domény.
- domény, kterým byla dle článku 17 Pravidel registrace zrušena delegace v registru .CZ. a po uplynutí doby zrušení delegace byla obnovena jejich delegace v zóně.
- domény, u kterých bylo reportováno podezření na Phishing, ale v dané chvíli u nich nebylo možné podezření nezávisle ověřit.
Přehled period sběru a uchování dat obsahuje následující tabulka.
Periody sběru a uchovávání dat
Druh dat |
Nové domény a domény dle pravidel výše |
Ostatní domény |
Max. doba uchování |
DNS |
1× za den |
1× za týden |
1 rok |
SMTP |
1× za den |
1× za týden |
1 rok |
Web – metadata |
1× za den |
1× za týden |
1 rok |
Web – obsah |
1× za den |
1× za měsíc |
1 měsíc |
Pravidla pro použití dat
CZ.NIC se zavazuje k dodržování následujících pravidel ve vztahu k datům získaným z provozu DNS crawleru:
- Původní data shromážděná DNS crawlerem, jakož i zpracovaná data a informace o specifických doménách, nebudou zveřejňovány ani poskytovány třetím osobám, kromě následujících případů:
- Sdružení CZ.NIC k poskytnutí dat zavazuje platný právní předpis.
- Pro naplnění výše uvedených cílů bude využíváno know-how nebo služby třetích osob, např. v rámci společných projektů. Data budou v tomto případě poskytnuta na základě smlouvy o mlčenlivosti.
- Problémy všeho druhu, které je potřeba předat k řešení držitelům nebo správcům konkrétních domén, budou sdělovány privátně s využitím příslušných kontaktů uvedených v registru domény .cz.
- Odhalené bezpečnostní incidenty budou řešeny standardními postupy bezpečnostního týmu CSIRT.CZ.
- Klasifikaci domén a jejich obsahu bude sdružení CZ.NIC využívat k provozním, plánovacím, výzkumným a vzdělávacím účelům.
- Obecné statistiky vytvořené ze získaných dat budou veřejně dostupné, a to v grafické podobě i jako otevřená data.
- Jakákoli položka dat shromažďovaných DNS crawlerem bude uchovávána nejvýše po dobu uvedenou v předchozí tabulce (obvykle bude mnohem kratší).
Kontaktní informace
- Problémy týkající se provozu DNS crawleru, které nesnesou odkladu: obraťte se na naši non-stop zákaznickou linku
- Obecné otázky, komentáře a požadavky posílejte emailem na adresu dns-crawler@nic.cz
- Konkrétní chyby, problémy a požadavky na nové funkce můžete zadat přímo na projektové stránce Issues