Суть тестирования VB100 заключается в проверке антивирусным модулем коллекций «диких вирусов» (Wildlist) и «чистых файлов» (Clean Sets). Антивирус, не пропустивший ни одного экземпляра из первого списка и не «назвавший» вирусом ни одного файла из второго списка, удостаивается награды VB100%.

Однако, как утверждают независимые вирусные аналитики, в последнее время эта методика сильно устарела и не может считаться адекватной для определения качества антивируса. Это связано с тем, что тестеры не раскрывают состав обеих коллекций, но известно, что Wildlist пополняется крайне медленно и только определенными типами вирусов — под Windows. Претензии со стороны антивирусных вендоров также касаются и количества вирусов в коллекции — апрельский VB100 проходил на 700 вирусах, а августовский увеличился всего лишь на несколько десятков семплов.

Кроме тестирования на Wildlist, специалисты VirusBulletin дополнительно выводят результаты тестирования на собственной подборке вирусов (колонки Worms, File inspectors, Polimorphic и Trojans), которые не влияют на получение награды VB100. По мнению Ивана Стогова, эксперта портала Anti-Malware, антивирусные вендоры выходят из теста Virus Bulletin, так как признают его методику не соответствующей действительности. Эти демарши Trend Micro и Dr.Web (а первый из них совершила Panda Antivirus еще в 2003 г.) являются попыткой показать ущербность VB100 в его настоящем состоянии:

Dr.Web: по прохождению VirusBulletin судить о качестве антивируса нельзя

Как отметил в разговоре с CNews Борис Шаров, директор Dr.Web, подборка VirusBulletin покрывает всего лишь 10–15% всего вредоносного ПО: «Основным критерием составления Wildlist является реплицируемость (воспроизводимость — CNews) вирусов, поэтому различные полиморфные троянские программы, составляющие до 80% детектируемых вирусов, не входят в нее. По этой причине судить о качестве антивируса по прохождению теста на таком малом количестве материала не приходится».

«Оставшиеся в тесте вендоры, такие, как Eset и Symantec (особенно первый) уже исторически строят свою рекламную стратегию на VB100% и специально затачиваются под его прохождение. Критиковать, а тем более выходить из этого теста для них абсолютно невыгодно. Другие же, как „Лаборатория Касперского“, понимают, что тест несовершенен, но участвуют в нем по инерции», — добавляет Иван Стогов.

Несколько другой точки зрения придерживается Виталий Янко, коммерческий директор Agnitum: «Несмотря на частично обоснованные заявления о „потере тестом и наградой VB100 веса и авторитета“, в резюме последнего отчета VB100, доступного подписчикам, сообщается о значительном пересмотре методик, которые будут отработаны в ходе ближайших тестирований. Там же даны обещания „усложнить жизнь“ многим решениям, которые ранее претендовали на награду или получали ее». В своем комментарии CNews господин Янко, подчеркнул, что отсутствие в VB100 Dr.Web и Trend Micro продиктованы «разными причинами — для одной компании это скорее причины технического характера, а для другой — политического».

Напомним, что компания Trend Micro объявила о своем выходе из тестов VB100 еще в начале июня, критикуя организаторов за недостаточно корректный с точки зрении состояния современных вирусных угроз метод оценки качества антивирусов.

Интересно, что скептически к VB относится и успешно прошедшая тест «Лаборатория Касперского». «Несмотря на то, что мы участвовали в августовском тесте и получили награду VB100%, наше отношение к данному тесту остается неизменным. Мы считаем, что методология теста страдает множеством изъянов, на которые мы не раз указывали. Мы продолжаем участвовать в тестах VB, поскольку, к сожалению, до сих пор многие заказчики воспринимают количество наград VB100% как некий значимый критерий качества антивируса и даже выставляют этот параметр как одно из условий тендеров по выбору антивирусной защиты. Тем не менее, мы рассматриваем возможность выхода из тестов VB, в том случае, если методология тестирования не претерпит изменений», — заявил CNews руководитель отдела стратегического маркетинга «Лаборатории Касперского» в регионе EEMEA Олег Гудилин.

Источник: www.cnews.ru