AOL опубликовал систему индексации сетевого трафика Moloch 2.3
11 мая 2020 года
Компания AOL выпустила релиз системы для захвата, хранения и индексации сетевых пакетов Moloch 2.3, предоставляющая инструменты для наглядной оценки потоков трафика и поиска связанной с сетевой активностью информации. Код написан на языке Си (интерфейс на Node.js/JavaScript) и распространяется под лицензией Apache 2.0. Поддерживается работа в Linux и FreeBSD. Готовые пакеты подготовлены для разных версий CentOS и Ubuntu.
Проект был создан в 2012 году с целью создания открытой замены коммерческой платформы обработки сетевых пакетов, способной масштабироваться до уровня объёмов трафика AOL. Внедрение новой системы в AOL позволило добиться полного контроля за инфраструктурой за счёт развёртывания на своих серверах и значительно снизить издержки - применение Moloch для полного захвата трафика во всех сетях AOL по затратам обошлось в сумму, аналогичную той, что при применении коммерческого решения раньше тратилась на захват трафика только в одной сети. Система может масштабироваться для обработки трафика на скоростях в десятки гигабит в секунду. Объём хранимых данных ограничивается только размером имеющегося дискового массива. Метаданные о сеансах индексируются в кластере на базе движка Elasticsearch.
Moloch включает инструменты для захвата и индексации трафика в штатном формате PCAP, а также для быстрого доступа к проиндексированным данным. Для анализа накопленной информации предлагается web-интерфейс, позволяющий выполнять навигацию, поиск и экспорт выборок. Также предоставляется API, позволяющий передавать в сторонние приложения данные о захваченных пакетах в формате PCAP и разобранных сеансах в формате JSON. Применение формата PCAP существенно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark.
Moloch состоит из трёх базовых компонентов:
- Система захвата трафика - многопоточное приложение на языке Си для мониторинга трафика, записи дампов в формате PCAP на диск, разбора захваченных пакетов и отправки метаданных о сеансах (SPI, Stateful packet inspection) и протоколах в кластер Elasticsearch. Возможно хранение PCAP-файлов в зашифрованном виде.
- Web-интерфейс на базе платформы Node.js, который запускается на каждом сервере захвата трафика и обрабатывает запросы, связанные с доступом к проиндексированным данным и передачей PCAP-файлов через API.
- Хранилище метаданных на базе Elasticsearch.
В web-интерфейсе предусмотрено несколько режимов просмотра - от общей статистики, карты соединений и наглядных графиков с данными об изменении сетевой активности до инструментов для изучения отдельных сеансов, анализа активности в разрезе используемых протоколов и разбора данных из PCAP-дампов.
- Осуществлён переход на использование бестипового формата для индексации в Elasticsearch.
- Добавлены примеры фильтров захвата трафика на языке Lua.
- Реализована поддержка 46-черновой редакции протокола QUIC.
- Переработан код для разбора протоколов, появилась возможность написания парсеров для протоколов уровня Ethernet и IP.
- Предложены новые парсеры для протоколов arp, bgp, igmp, isis, lldp, ospf и pim, а также парсеры неизвестных протоколов unkEthernet и unkIpProtocol.
- Добавлена опция для выборочного отключения парсеров (disableParsers).
- В web-интерфейс добавлена возможность показа любого целочисленного поля на графиках, выставленного на странице с настройками.
- Графики и заголовки теперь могут закрепляться и не смещаться при прокрутке страницы.
- Большая часть навигационных панелей по умолчанию скрыта или свёрнута.
Источники[править]
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии[править]
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
