Поделиться
«Айадмин» классифицировал всю зону .RU
«Айадмин» сообщила о проведенном исследовании доменной зоны RU на конец 2020 года. В рамках исследования был проведен анализ как веб серверов, работающих в ru зоне, так и остальных хостов в целом. По итогам исследования каждому рабочему веб сайту была присвоена категория, в соответствии с правилами категоризации по 78 категориям в базе IADMIN URL и выпущена новая версия категоризатора IADMIN.
Всего было исследовано 4990845 зарегистрированных доменов. Из них 456526 сайтов уже присутствовало в базе IADMIN ранее. Исследовались 4 варианта подключения: c www и без www по доменному имени, и по портам 80 и 443 с шифрованием TLS. При этом 665267 сайтов не имели преобразования в ip адрес. 277039 не ответили на запрос по тайм ауту по протоколам HTTP или HTTPS. Выявлено 617 тыс. запаркованных доменов.
Другие хосты из 1,7 млн нераспознанных веб сайтов отвечали иными ошибками, такими как 404 – страница не найдена, 403 - запрещено.
Всего в качестве новых сайтов было добавлено 2 792 500 веб сайтов на домене второго уровня. Для категоризации веб сайтов использовалась новая система искусственного интеллекта, позволившая категоризировать большие объемы данных. Полная статистика по RU зоне в разрезе категорий приведена в конце пресс релиза.
«Созданные за последние годы технологии позволили анализировать нам большие объемы данных» - говорит Денис Жернов, руководитель проектов «Айадмин» - «Теперь мы можем обрабатывать веб сайты по доменным зонам целиком и делать это с определенной периодичностью для отслеживания изменений. А новый искусственный интеллект осуществляет их моментальную категоризацию. Обучение ИИ является отдельным и очень важным направлением в нашей деятельности, поскольку от правильности обучающих данных зависит итоговый процент ошибок.»
Категоризатор IADMIN – программное обеспечение, предназначенное для классификации веб сайтов в составе программных продуктов IADMIN. Включает в себя базу данных классифицированных веб сайтов, разделенных на 78 категорий. После проведенного исследования общее число сайтов в базе категорий iAdmin URL составляет 20 миллионов.
Короткая ссылка
