AppSec и Linux DFIR: легитимно выглядящие закладки, автоматизация fleet triage, evidence, business impact и решение о пересоздании. Linux Threat Hunting, массовый triage и одна неприятная задача, которая досталась Application Security Champion.
ЧТО ПРОИЗОШЛО?
Представьте себе обычный рабочий разговор. Разрабы воркают, сервисы крутятся, CI/CD что-то собирает, мониторинг поинты преимущественно зеленый. Заканчивается обед и тут кто-то задает вопрос, после которого в комнате становится заметно тише:
«Наш DevOps уволился. Причем разошлись мы, скажем так, не очень хорошо. Он поднимал почти всю эту инфраструктуру. Мы вообще уверены, что там ничего не осталось?»
И все смотрят на Security. Не на ClamAV, не на Grafana, а на человека, который занимается Application Security. Ну, вообщем на меня!
Ну что ж, поздравляем: зона ответственности только что увеличилась без согласования с HR. :)
С задачей такого класса мне доводилось сталкиваться в контексте Product Security / Application Security. Моя основная работа была связана с безопасностью продукта, процессов разработки и доставки ПО. Но когда человек, поддерживавший значительную часть Linux-инфраструктуры, ушел при сложных обстоятельствах, а другой профильной экспертизы на месте не оказалось, разбираться пришлось мне. Не потому, что AppSec внезапно стал полноценным DFIR-подразделением. А потому, что на этих машинах разрабатывался, собирался и разворачивался продукт. И риск был уже продуктовым. Так что, парни, это мой выход!
*Сама постановка задачи звучит просто: *много Linux-серверов, один специалист, мало времени. Нужно проверить, не оставил ли бывший привилегированный оператор скрытых способов удалённого доступа, неизвестных сервисов, изменённых конфигураций или чего-то похуже. И на основании проверки сказать бизнесу, можно ли продолжать работу или безопаснее заново пересоздать инфраструктуру.
Но правильный вопрос грамотного экперта я бы сформулировал иначе:
Как восстановить доверие к инфраструктуре, которую создавал и администрировал человек, чей доступ мы больше не считаем доверенным?
Disclaimer / NDA. Это анонимизированное изложение реального класса задачи и моего личного подхода к ресерчу. Название компании, технические детали, точное количество серверов, сроки и фактический результат закрытого проекта я не раскрываю по пончтным причинам. Все имена хостов, числа в примерах, findings и фрагменты отчётов ниже — синтетические иллюстрации, не данные реального расследования. И да: конфликт при увольнении сам по себе не доказывает злонамеренных действий. Однако, мы проявляя должную осмотрительность и здравый скептицизм, проверяем доступы, артефакты и доверие, а не характер бывшего коллеги.
1. Если сервис работает — это ещё не значит, что ему можно доверять
Начнём с типичной инфраструктуры software-компании, где ведется разработка кастомного внутреннего ПО и юзаются стандартные сервисы для корпорейта. Есть Linux-машины для development, staging, internal services, self-hosted runners, build agents, контейнеров, deployment-автоматизации. Часть из них может иметь доступ к секретам, registry, облачным API или production Kubernetes. Всё работает. Значит ли это, что всё безопасно? - Конечно НЕТ.
Бывший администратор с достаточными правами теоретически мог оставить механизмы persistence, которые выглядят очень буднично:
- дополнительный SSH public key в
authorized_keysсуществующего пользователя; - вторую учётку с UID 0 или неожиданное правило
sudo; -
systemdservice, user service, timer либоcrontask; - reverse SSH tunnel, исходящее соединение или подменённую конфигурацию SSH;
- изменённые
iptables/nftables, неожиданный port forwarding; - CI/CD runner, deploy key, webhook, registry credential;
- cloud IAM role или Kubernetes service account с избыточными правами;
- изменённый startup script, бинарник, hook или загружаемый модуль.
ВНИМАНИЕ:практически все из этого может использоваться и легитимно. Поэтому странный файл — не доказательство backdoor, так же как отсутствие найденного malware — не доказательство чистоты системы.
Мой рабочий threat model выглядит так:
Бывший privileged operator | +--> Identity: SSH / sudo / IdP / VPN / cloud IAM | +--> Persistence: cron / systemd / hooks / containers | +--> Remote access: ports / tunnels / control plane | +--> Supply chain: Git / CI/CD / registry / signing | +--> Data & Ops: secrets / backups / databases | v Product integrity + business impact Эти техники хорошо описаны в MITRE ATT&CK: SSH Authorized Keys, T1098.004, Systemd Service, T1543.002 и Cron, T1053.003. Никакой голливудской магии. Обычные возможности Linux, которые в другом контексте становятся механизмами злоупотребления.
Самый убедительный backdoor выглядит как штатная инфраструктура
Есть опасное заблуждение: «AV ничего не нашёл, значит, закладок\малвари нет». Антивирус полезен против известных образцов malware. Но он не предназначен для ответа на другой вопрос: должен ли существовать этот абсолютно корректный SSH-ключ, systemd unit, cloud role или CI/CD runner? Никакого вредоносного исполняемого файла может вообще не быть. Механизм persistence — обычная административная функция, только используется она в таком ключе без разрешения.
| Как выглядит механизм | Почему AV может не сработать | Что проверять |
|---|---|---|
| Дополнительный SSH-ключ существующего пользователя | Публичный ключ не является вирусом | Fingerprint, владелец, change ticket, история логинов, альтернативные источники ключей |
systemd-сервис «для мониторинга» | Сервисы и должны автоматически запускаться | Unit + drop-ins, ExecStart, package ownership, destination, IaC и автор изменения |
| Deploy key или automation token | Это обычные сущности CI/CD | Кто создал, scope прав, last used, кто может отозвать, где лежит |
| Self-hosted runner | Запуск build jobs — его легитимная работа | Кто зарегистрировал, история задач, labels, доступ к secrets, egress |
| IAM trust policy, Kubernetes RoleBinding | На диске Linux вообще ничего подозрительного | Журналы control plane, права, доверенные identities, история изменений |
| Сервис удалённого обслуживания | Туннели и relay бывают вполне законными | Business owner, документация, дочерний процесс, endpoint, persistent config |
Всё это — модель потенциального риска, а не обвинение бывшего инженера. Хорошие отправные точки для проверки: MITRE T1098.004 — SSH Authorized Keys, T1053.006 — Systemd Timers и T1098.006 — Kubernetes Roles. Нормальные функции инфраструктуры становятся проблемой, когда теряется контроль над тем, кто и зачем их включил.
Чем один доступ на build runner грозит бизнесу
Вопрос не в том, что кто-то прочитает /etc/passwd. Вопрос — до чего этот сервер может дотянуться дальше. При определённом уровне привилегий неавторизованный оператор теоретически способен сделать pivoting:
| К чему есть доступ | Возможный сценарий | Последствия для бизнеса |
|---|---|---|
| Production DB или snapshots | Выгрузка клиентских данных / интеллектуальной собственности | Уведомления об утечке, юридические и репутационные потери |
| CI/CD runner и deploy secrets | Подмена артефактов сборки, выпуск изменённого продукта | Supply-chain incident, компрометация релизов |
| Cloud IAM и service identities | Изменение прав, отключение журналов, управление ресурсами | Потеря контроля, простой, неожиданные расходы |
| Backups / DR permissions | Уничтожение или порча резервных копий | Увеличение RTO, сложное или невозможное восстановление |
| DNS, ingress, registry, signing | Перенаправление трафика, публикация неподписанных или чужих артефактов | Ущерб клиентам, нарушение целостности продукта |
| Monitoring / alerting | Подмена событий или отключение алертов | Позднее обнаружение и недостоверная timeline |
Это гипотетические варианты blast radius, не результаты NDA-расследования. Но именно из-за них маленький неизвестный сервис на невзрачной Linux-машине может быть куда серьезнее, чем очередная новая CVE со средним CVSS или лютейшая с critical rate 9.0.
Кстати, GitHub отдельно предупреждает о рисках постоянных self-hosted runners: в отличие от чистой ephemeral VM, такой runner может сохранить последствия выполнения недоверенного build code. Для Product Security это уже часть цепочки доверия к релизам, а не просто хост из зоны ответственности DevOps.
2. Главная ошибка — сразу запускать сканеры и надеяться на быстрый результат
Я понимаю желание быстро поставить пять утилит, запустить на всех серверах, получить красивую HTML-таблицу и написать руководству: Security Check Completed. Но сначала нужно договориться о модели доверия.
Я задал бы себе три вопроса:
- Как выглядит весь scope? Если мы проверили 70 серверов, но ещё 12 никто не включил в inventory, отчёт почти бесполезен.
- Кому принадлежит канал проверки? Если старый администратор контролировал bastion, automation account или наш SSH-ключ, может ли сама процедура сбора evidence считаться независимой?
- Что мы успеем сохранить? Вход на сервер, установка софта, сброс ключей и перезапуск сервисов меняют состояние системы. Иногда это допустимо ради немедленного containment, иногда сначала нужно сделать snapshot и сохранить volatile artifacts.
Поэтому я строю временный investigation boundary: отдельная доверенная рабочая машина, новый санкционированный доступ, защищённое хранилище evidence, список ответственных и согласованный change freeze для критичных компонентов.
Если прямо сейчас есть признаки активного проникновения — containment важнее идеальной процедуры. Но если активного инцидента не видно, сначала фиксируем процессы, сетевые соединения, журналы и доступные snapshots. Не начинаем расследование с перезагрузки подозрительного хоста. Общий подход хорошо согласуется с NIST SP 800-61 Rev. 3.
Что я делаю в первые 60 минут после инцидента
Вместе с IT/Infrastructure и ответственным за incident response:
- блокирую доступ бывшего сотрудника в IdP/SSO, VPN, bastion, Git, CI/CD, cloud, remote support;
- отзываю связанные с ним active sessions, PAT, deploy keys, refresh tokens и другие credentials, к которым у него мог сохраниться доступ;
- отдельно проверяю shared accounts и service identities — они часто переживают увольнение лучше любого человека;
- ограничиваю административные endpoints, смотрю inbound и egress;
- защищаю логи и резервные копии от изменений прежними привилегированными учётками;
- подтверждаю независимый break-glass access, прежде чем отключать единственный работающий admin login.
Ротация секретов может положить production, поэтому делается осмысленно: scope, зависимости, порядок, rollback. В острых случаях доступ перекрываем сразу, но не превращаем emergency response в неконтролируемое разрушение собственной инфраструктуры.
Evidence: сначала сохранить историю, потом делать выводы
Я бы с самого начала вёл короткий evidence & decision log. Да, скучная бюрократия. Но без неё через неделю никто не сможет объяснить, что именно мы наблюдали, какие данные уже поменяли своими действиями и почему решили пересоздавать конкретный сервер.
- ID расследования, согласованный scope, уполномоченные люди и статус: профилактическая проверка после увольнения или подтверждённый incident response.
- Время сбора по UTC и погрешность часов источника, версия и хэш collector, investigator identity, путь подключения, ID облачного ресурса.
- Способ получения: live SSH, trusted snapshot, старый EDR, независимые cloud/audit logs. Неудачные и неполные попытки фиксируем так же внимательно.
- Куда помещён оригинал, SHA-256 собранных данных, контроль доступа и цепочка дальнейших операций. Хэш помогает заметить последующее изменение файла, но не доказывает достоверность информации на источнике.
- Какие containment-изменения пришлось сделать до preservation (отзыв токена, изоляция сети), с причиной и ответственным.
Если у потенциального нарушителя был root, выводы ps, ss, find, package manager и локального security agent могут быть подменены. Поэтому SSH collector — первичная разведка, а не независимое доказательство чистоты. Ему нужны внешние точки опоры: журналы облака и SSO, уже накопленные EDR-события, защищённые backups, золотые образы, подписанные артефакты и история изменений. Для юридически чувствительных кейсов нужен полноценный DFIR-процесс с квалифицированной командой, а не только мой AppSec runbook.
И ещё: искать исключительно файлы, изменённые «за последние семь дней», недостаточно. Закладка может быть гораздо старше. А timestamps можно легко изменить ведь на то мы\они и хЭкеры. Timeline я строю от последнего независимо подтверждённого trusted state, а не от даты конфликта при увольнении. Это соответствует подходу NIST SP 800-61 Rev. 3 (апрель 2025): evidence, реакция и восстановление — части единого risk management.
3. Asset inventory — самая скучная и самая важная часть
Парк серверов — это не список IP-адресов, который кто-то когда-то сохранил в Excel. Я бы свел вместе cloud inventory, гипервизор, Terraform/IaC, CMDB, Ansible/SSH inventory, Kubernetes nodes, self-hosted runners, DNS и журналы развёртывания. Это уже field для ресерча.
Минимальная карточка: asset_id, hostname, environment, role, owner, criticality, external_exposure, collection_status, last_seen.
Дальше обязательно распределить машины по состоянию:
| Категория | Что означает | Что делать |
|---|---|---|
| In scope / collected | Evidence получены | Анализировать и указывать confidence |
| In scope / unreachable | Хост есть, но проверить не удалось | Unknown, искать альтернативный путь |
| Shadow asset | Нашли вне inventory | Установить владельца, приоритизировать |
| Ephemeral / terminated | Хост уже исчез | Смотреть облачные и orchestration audit logs |
| Explicitly out of scope | Исключён из проверки | Записать причину и того, кто согласовал |
Я отдельно считаю coverage, а не только «количество обнаруженных угроз». Например, если мы собрали артефакты с 58 машин из 64, то coverage = 90,6%. Оставшиеся шесть — это не зелёные хосты. Это шесть вопросов без ответа.
4. Выбираем software: Open Source, коммерческие решения и здравый смысл
Сразу скажу: какого-то одного волшебного сканера, который гарантированно найдёт все backdoors, нет. А если кто-то продает такой — лично я бы начал с threat modeling этого обещания. :) Ну, вы понимаете к чему я))
Мне нужен набор разных источников evidence. И он вполне может обойтись без дорогой закупки.
| Инструмент | Лицензия / модель | Для чего полезен | Ограничения |
|---|---|---|---|
| OpenSSH + небольшой collector | Бесплатно, без установки агента | Экспресс-сбор с десятков хостов | Зависит от SSH и доверия к локальным утилитам |
| Velociraptor | Open Source | DFIR, VQL, артефакты, fleet-wide Hunts | Развёртывание и сбор влияют на endpoints, требуют планирования |
| osquery + Fleet | Open Source engine; у Fleet есть free/paid возможности | SQL-запросы, inventory, drift detection | Ограничен телеметрией ОС и возможностями конкретной версии |
| Wazuh | Open Source, агентный подход | FIM, конфигурации, долгосрочные события | Если baseline снят уже после компрометации, он не становится доверенным автоматически |
| YARA | Open Source | Поиск IoC / известных семейств в отдельных файлах и образцах | Match — сигнал; no match — не оправдательный приговор |
| Lynis / chkrootkit / rkhunter | Free / Open Source | Дополнительный audit и known rootkit checks | Много шума, blind spots, не полноценная форензика |
| Sandfly Security | Коммерческий, agentless по SSH | Специализированный Linux threat hunting | Лицензия, SSH-доступ, ограничения видимости с хоста |
| CrowdStrike / SentinelOne / Elastic Security | Коммерческие / смешанные модели | EDR telemetry, historical hunting, response | Сильно зависит от покрытия и retention |
При срочной проверке моим базовым решением было бы:
Parallel SSH triage → сравнение аномалий → Velociraptor / osquery → выборочный integrity + YARA → CI/CD и cloud-control-plane review → risk decision.
Причём ставить новый агент на каждый Linux-сервер я бы не спешил. Если уже есть работающий EDR — используем его. Если нет — начинаем с более лёгких способов сбора и точечно расширяем исследование.
Документация: Velociraptor Hunts, Deployment, Fleet API, Wazuh FIM, Sandfly Linux IR.
Что ещё добавить в toolbox, а что не стоит переоценивать
AIDE полезен для file-integrity drift, если эталон был создан до инцидента и хранится независимо от проверяемой машины. Falco или Tracee дают runtime-сигналы; например, Tracee использует eBPF. Но установленный сегодня sensor не восстановит события, которые никто не записывал вчера. И внедрять привилегированное наблюдение на подозрительном ядре без preservation — отдельный риск.
Sandfly здесь заслуживает самостоятельного внимания. По официальной документации это agentless Linux detection / response через SSH, с проверками компрометации и сбором forensic evidence. В релизе от июня 2026 года появились дополнительные response-возможности. При первичной проверке я не включал бы действия удаления или остановки процессов без согласования. И agentless не означает, что сервер вообще не затрагивается или что он не способен ввести сканер в заблуждение.
Я бы выбирал инструмент под вопрос:
| Что хочу понять | Начальный метод | Углублённый метод |
|---|---|---|
| Какие машины, учётки, сервисы существуют? | SSH collector / существующий osquery | Velociraptor, alternate acquisition |
| Что отклонилось от trusted baseline? | Approved changes, IaC, старые inventory | Защищённая AIDE/FIM-история, trusted images |
| Идёт ли подозрительная активность сейчас? | EDR, процессы/сеть, cloud logs | Controlled runtime sensor / DFIR acquisition |
| Совпадает ли файл с известным IoC? | YARA по проверенным sample files | Форензика и верифицированная threat intelligence |
| Кто сможет менять следующий релиз? | Git/CI/CD/IAM/registry review | Re-enroll runners, rotate creds, trusted builds |
Особенно важно: chkrootkit, rkhunter и Lynis не выдают сертификат «система безопасна». Даже мануал Debian по debsums прямо отмечает его ограниченную пригодность как security-инструмента.
Как установить и запустить инструменты, не испортив расследование
Для первого прохода на подозрительные серверы ставить ничего не нужно. Python 3 и OpenSSH находятся на доверенной operator machine, Bash collector передаётся в уже разрешённую SSH-сессию. Сначала тестируем на одной некритичной и репрезентативной Linux-машине, затем повышаем parallelism.
Для дополнительных targeted checks я бы подготовил отдельную доверенную Ubuntu/Debian analysis VM. На неё можно поставить базовые инструменты:
# Только на чистой ANALYSIS VM, а не на сервере до preservation: sudo apt-get update sudo apt-get install --no-install-recommends yara lynis yara --version lynis --version debsums доступен как Debian/Ubuntu package, но устанавливать его прямо на потенциально скомпрометированный хост до preservation — значит менять evidence. Лучше использовать уже имеющиеся средства или отдельно согласованный acquisition. YARA запускаем по проверенным правилам и выбранным образцам, а не наугад по /. sudo lynis audit system полезен для hardening review на лабораторной или уже сохранённой системе; утилита создаёт отчётные файлы, поэтому я не включаю её в первый read-only проход.
Velociraptor: по official quickstart скачиваем проверенный релиз на отдельный сервер, сверяем артефакты, генерируем server config, ограничиваем GUI, настраиваем авторизованный Linux collection. В изолированной лаборатории допустим ./velociraptor gui, но это деморежим, не production-конфигурация. Для рабочей среды нужны корректные TLS/authentication и права доступа. После этого проверяем Linux artifacts на одном-двух узлах и лишь затем запускаем Hunt.
osquery/Fleet: устанавливаем поддерживаемые подписанные packages и enroll agents по документации Fleet, проверяем появление хоста в console, тестируем SQL query на одной системе, затем масштабируем. Локальный osqueryi подходит для отладки queries на машине, где он уже установлен. Wazuh: официальный Quickstart — для развёртывания server/indexer/dashboard на доверенном узле; FIM-agent и базовый baseline добавляем согласованно, желательно уже после острой стадии IR. Sandfly: лицензированная консоль, согласованный SSH access, сначала небольшой scope, затем остальные хосты.
Если EDR, Fleet, Wazuh или Velociraptor в компании уже работают — используем существующую систему.
5. Первый проход: массовый read-only triage
Для практического использования к архиву со статьями я приложил маленький toolkit:
linux_trust_after_devops_v2/ 01_EN_devto.md 02_RU_devto.md tools/ linux_triage_readonly.sh fleet_triage.py review_manifest.py hosts.example.txt examples/ example_findings.csv synthetic_evidence.txt templates/ executive_report_example.md risk_register_template.csv README.md Идея простая: на доверенной машине работает Python orchestrator, он по SSH параллельно запускает удалённый Bash-collector, читает результаты и складывает их локально. На целевые машины не копируется постоянный агент, не ставятся пакеты, не меняются политики, не перезапускаются сервисы. Для каждого хоста есть отдельный файл, SHA-256 digest и manifest со статусом.
Потребуются Python 3, OpenSSH, заранее проверенные host keys в known_hosts, санкционированный SSH-доступ и sudo -n на выполнение команд сбора. Не нужно ради удобства отключать StrictHostKeyChecking.
Пример inventory:
# tools/hosts.txt — замените на свои реальные разрешённые хосты ir-audit@build-01.example.internal ir-audit@app-stg-02.example.internal ir-audit@runner-03.example.internal Запускаем из корня распакованного архива:
python3 tools/fleet_triage.py \ --hosts tools/hosts.txt \ --out ./evidence-2026-11-13 \ --workers 6 \ --timeout 120 Результат: manifest.csv, manifest.sha256, файлы raw/<host>.txt. Ошибки подключения и тайм-ауты отдельно учитываются. После сбора можно выполнить python3 tools/review_manifest.py ./evidence-2026-11-13: это создаст отдельный offline quality-review CSV вне evidence-каталога. Он ищет пропуски, а не malware. Важная оговорка: это не memory acquisition и не forensic imaging. Это безопасный по замыслу экспресс-сбор, у которого есть ограничения, описанные в README.
А что внутри? Не магия, а вопросы к системе. Вот и погнали их ревьювить!
5.1 Identity & Access — начинаем с людей, ключей и полномочий
# Кто обладает UID 0? awk -F: '$3 == 0 {print $1 ":" $3}' /etc/passwd # Все локальные / доступные через NSS аккаунты getent passwd # Sudo include directory find /etc/sudoers.d -maxdepth 1 -type f -print 2>/dev/null # Эффективная конфигурация sshd (где поддерживается) sshd -T 2>/dev/null | grep -E \ '^(permitrootlogin|authorizedkeysfile|passwordauthentication|pubkeyauthentication) ' Проверяем SSH keys в реальных home directories пользователей, а не только /home/username. Нам нужны fingerprint, владелец, origin, наличие approved change. Учитываем AuthorizedKeysCommand, SSH certificates, authorized principals и возможные cloud-injected keys.
Не забываем: несанкционированный ключ опасен, но неизвестный комментарий в конце public key сам по себе ещё ничего не доказывает. И не надо складывать private keys или secrets в общедоступную Jira-задачу.
5.2 Persistence — где Linux запускает вещи без нашего участия
# Включённые systemd service/timer units systemctl list-unit-files --type=service,timer \ --state=enabled --no-pager # Запланированные timers systemctl list-timers --all --no-pager # Недавно изменённые unit files (только приоритизация) find /etc/systemd/system /usr/local/lib/systemd/system \ -type f -mtime -30 -print 2>/dev/null # Системные cron locations find /etc/cron.d /etc/cron.daily /etc/cron.hourly \ -maxdepth 2 -type f -print 2>/dev/null Дополнительно смотрим user crontabs, at, user-level systemd units, drop-ins, /etc/profile.d, shell startup, PAM и restart policies контейнеров.
И маленький нюанс: mtime за 30 дней — не граница компрометации. Даты можно поменять, а вредоносная конфигурация может жить годами. Используем фильтр, чтобы начать поиск, а не чтобы закончить его.
5.3 Runtime & Network — что слушает, куда соединяется и от чьего имени
ss -lntup # Listening sockets + process context ss -tanp # TCP connections ip route show # Routes nft list ruleset 2>/dev/null iptables-save 2>/dev/null Каждый неожиданный порт или outbound IP я сопоставляю с PID, binary path, owner, systemd unit, change history, service inventory и network flow logs. Reverse shell, запущенный периодически, вовсе не обязан светиться в тот момент, когда мы набрали ss.
Кстати, не начинаем с kill -9 по незнакомому PID: сначала evidence и понимание, что именно работает, если риск активного инцидента позволяет.
5.4 System integrity — что изменилось по сравнению с базой
# Debian/Ubuntu: если утилита уже установлена debsums -c 2>/dev/null # RHEL-подобные системы rpm -Va # Для конкретного suspicious file stat /path/to/suspect sha256sum /path/to/suspect Здесь очень легко получить ложное ощущение уверенности. Да, debsums сравнивает установленные package files с checksum-базой. Но Debian прямо пишет в man page, что как security tool он имеет ограниченную ценность. RPM тоже опирается на данные о пакетах, а не на магический внешний эталон.
Вывод: изменение бинарника — важный повод расследовать, но не автоматическое подтверждение rootkit. Отсутствие изменений — не доказательство доверия. Для сильного сравнения нужны verified images, подписанные артефакты, independent snapshots и package provenance.
С YARA я предпочитаю targeted scan, а не ковровую обработку / с полным чтением дисков и сетевых mount points:
# Только проверенные правила и санкционированный файл-образец yara --timeout=30 /opt/ir/rules/reviewed_rules.yar /opt/ir/samples/suspect_file Синтаксис — по официальному YARA CLI. Rule match ещё нужно валидировать. No match не означает отсутствие кастомного импланта.
Как может выглядеть evidence "левого присутсвия"
Покажу NDA-очищенный мини-кейс. Только для понимания ситуации и того как действуем.
Сигнал A: service вроде легитимный, но происхождение непонятно.
$ systemctl list-unit-files --type=service | grep telemetry telemetry-bridge.service enabled enabled $ systemctl show telemetry-bridge.service \ -p FragmentPath -p DropInPaths -p User -p ExecStart FragmentPath=/etc/systemd/system/telemetry-bridge.service DropInPaths= User=svc-ci ExecStart={ path=/usr/local/bin/telemetry-bridge ; ... } $ systemctl cat telemetry-bridge.service # /etc/systemd/system/telemetry-bridge.service [Unit] Description=Telemetry bridge for build fleet [Service] User=svc-ci ExecStart=/usr/local/bin/telemetry-bridge --config /etc/telemetry/bridge.yaml Restart=always [Install] WantedBy=multi-user.target Пока здесь нет доказательств вредоносности. Это может быть обычный внутренний агент. Но в approved services catalog он отсутствует, в Terraform/IaC нет описания, а происхождение бинарника не подтверждено. Это unexplained deviation, а не «мы нашли malware».
Сигнал B: сетевое соединение, которое надо объяснить.
$ ss -tnp | grep 203.0.113.42 ESTAB 0 0 10.10.4.23:51862 203.0.113.42:443 users:(("telemetry-bridge",pid=2147,fd=11)) TLS на 443 может быть нормальной телеметрией. Проверяем владельца назначения, учётку процесса, логи unit, историю развёртывания и бизнес-назначение. Внешний IP сам по себе не означает C2.
Сигнал C: ключ, который мог пережить offboarding.
$ ssh-keygen -lf /home/svc-ci/.ssh/authorized_keys -E sha256 256 SHA256:7aQ2EXAMPLEsyntheticFingerprintNOTREAL ci-deploy (ED25519) Здесь fingerprint — фиктивная строка, а не вычисленный хэш реального ключа. Настоящий отпечаток мы сравнили бы с корпоративным реестром разрешённых ключей и журналами SSH. Один отсутствующий change ticket не равен диверсии. Но необъяснённый ключ + неизвестный сервис + исходящий трафик + доступ к deployment secrets — достаточная причина срочно расширять расследование.
Read-only команды для точечной проверки, если права и влияние на продакшен согласованы:
# Реальные свойства сервиса и его конфигурация (без restart/reload) systemctl show telemetry-bridge.service \ -p FragmentPath -p DropInPaths -p User -p ExecStart systemctl cat telemetry-bridge.service # Ограниченная временная выборка из journal (retention зависит от ОС) journalctl --utc --no-pager -u telemetry-bridge.service \ --since '2026-11-01 00:00:00' --until '2026-11-13 23:59:59' # Эффективный SSH policy с учётом гипотетического Match-контекста sshd -T -C user=svc-ci,host=reviewer.example.internal,addr=192.0.2.44 \ | grep -E '^(authorizedkeysfile|authorizedkeyscommand|permitrootlogin|pubkeyauthentication) ' # На доверенной машине, из каталога evidence (cd ./evidence-2026-11-13 && sha256sum -c manifest.sha256) sshd -T без -C может не показать влияние Match blocks; здесь host и addr обозначают подключающегося клиента, а не сам сервер; это подтверждает мануал OpenSSH. Локальные логи и утилиты на потенциально скомпрометированном сервере нельзя считать неоспоримыми. Их нужно сопоставлять с forwarded logs, историей CI и control-plane events.
И помним об ограничениях single snapshot: периодический timer сейчас может не работать, user-level systemd может быть выключен, socket activation не обязана выглядеть как активный процесс, а секрет в cloud IAM вообще не отобразится на диске. Поэтому несколько независимых проходов, а не вера в один снимок.
6. Второй проход а найти отклонения, а не читать все логи подряд
Массовый сбор — лишь половина работы. Иначе я просто превращу один большой список серверов в 100 больших TXT-файлов. Спасибо, конечно, но мне нужен ответ.
Поэтому делим хосты на cohorts: CI runners, app nodes, database nodes, production/staging, family ОС, версия image и т.д. После этого смотрим cross-host deviations: необычный UID 0, новый SSH fingerprint, уникальный service/timer, нестандартный listener, непонятный sudo rule.
Нельзя сравнивать PostgreSQL-сервер и build runner как два одинаковых хоста. Иначе аномалий будет столько, что расследование превратится в конкурс на самую красивую таблицу.
Если в инфраструктуре есть osquery, через osqueryi или Fleet можно выполнить:
SELECT username, uid, gid, directory, shell FROM users WHERE uid = 0; SELECT pid, port, protocol, address FROM listening_ports; SELECT pid, name, path, cmdline FROM processes; Уточняем схемы tables под вашу версию и платформу; query results зависят от прав, включённой телеметрии, доступности хостов и настроек Fleet. Это не универсальная машина времени, которая видит все предыдущие события.
Для deeper collection использую концепцию Velociraptor Hunts: тестирую Linux-oriented artifacts на одном-двух эталонных хостах, запускаю их на выбранной группе, анализирую consolidated results и дополнительно собираю evidence с outliers. В частности, полезны user/SSH/systemd/cron/process/network artifacts и выборочный collection подозрительных файлов. Не нужно собирать гигабайтные дампы со всех машин без понятной цели и storage plan.
Наиболее убедительная находка — это не просто странная строка, а пересечение нескольких независимых сигналов:
Неожиданный SSH key + Неизвестный systemd service + Непривычный outbound connection + Нет change request / IaC explanation + Доступ к CI/CD или cloud credentials | v Priority: investigate and contain Ни один из элементов по отдельности не гарантирует компрометации. В совокупности они формируют attack story.
Небольшой osquery hunt: как находить outliers в масштабе
Если osquery уже работает в окружении, можно использовать такие запросы. Они опираются на опубликованные upstream schemas; перед запуском на всём fleet проверьте доступность таблиц и имена колонок для своей версии через .schema в osqueryi.
-- UID 0: проверить владельцев, но не объявлять их атакующими SELECT username, uid, directory, shell FROM users WHERE uid = 0; -- Linux systemd: сравнивать хосты с одинаковой ролью и образом SELECT id, unit_file_state, active_state, fragment_path, user FROM systemd_units WHERE unit_file_state = 'enabled'; -- Cron: что выполняется, откуда взялось правило SELECT path, command, minute, hour, day_of_week FROM crontab; -- Сетевые listeners + процесс (одноразовый snapshot) SELECT l.address, l.port, l.protocol, p.pid, p.name, p.path, p.cmdline FROM listening_ports AS l LEFT JOIN processes AS p ON l.pid = p.pid; Документация по полям: systemd_units, crontab, listening_ports. Не все таблицы доступны на всех ОС, а live query не создаёт задним числом историческую телеметрию.
Сравниваю не «все серверы со всеми», а одинаковые роли, версии образов, environment и release cohort. Если из шести build runners пять имеют три custom units, а шестой четыре, — это повод проверить шестой. Не повод автоматически объявить его заражённым.
7. Linux-хосты — только половина всей е###й картины
Допустим, проверили машины. Никаких подтверждённых backdoors. Можно расслабиться? Нет. Потому что DevOps часто управляет не только серверами, но и путём поставки кода на эти серверы.
Представьте, что в GitLab остался deploy key, в CI — runner неизвестного происхождения, в cloud IAM — роль с внешним trust relationship, в Kubernetes — ClusterRoleBinding, а в registry — credential с write access. Человеку уже не нужен shell на Linux: достаточно возможности повлиять на то, что запустится при следующем deployment.
Поэтому проверяем не только host plane, но и control plane:





