Возвращайте до 18% с пополнений рекламы
  • Все популярные рекламные сети в одном окне
  • Рекламные инструменты — бесплатно
  • Доступ к конструктору лендингов и WebApp-приложений
  • Закрывающие документы точно в срок
ring svg
  1. Главная >
  2. Блог >
  3. Аналитика и управление компанией >
  4. Что такое OSINT, или как собирать данных из открытых источников

Что такое OSINT, или как собирать данных из открытых источников

Что такое OSINT, или как собирать данных из открытых источников

Мы знаем простейшие правила безопасности: избегать темных мест в темное время суток, не заходить в лифт с незнакомцами, следить за личными вещами в местах массового скопления народа и т.д.

Несмотря на то, что Верховный суд не признал Интернет местом, открытым для свободного посещения, бдительность нужна и в сети. Мы все оставляем цифровые следы — «отпечатки» наших действий в Интернете, и каждый из нас может стать жертвой целевой атаки.

Первый шаг целевой атаки (или теста на проникновение/угрозу извне) — сбор информации о цели. Обычно сбор начинается с извлечения информации из общедоступных источников, известных под общим названием «разведка на основе открытых источников» (open-source intelligence, OSINT).

Благодаря социальным сетям и распространенности онлайн-активности существует огромное количество легально собираемых OSINT, способных дать злоумышленнику все необходимое для успешного профилирования организации или отдельного лица.

Из этой статьи вы узнаете, что такое OSINT, и как использовать инструменты OSINT, чтобы лучше понять свой собственный цифровой след. Рассказывают команды команды Sans и SentinelOne.

Содержание статьи

Что такое OSINT

Применение OSINT

Как использовать OSINT для защиты своей сети?

Как работает OSINT?

Лучшие практики OSINT

Навыки OSINT

Пассивный и активный OSINT

Методы OSINT

5 инструментов OSINT для исследования безопасности

Maltego
FOCA
Shodan
TheHarvester
Recon-ng

Что такое OSINT

OSINT (open-source intelligence, OSINT) — это законно собранная информация о человеке или организации из бесплатных общедоступных источников. На практике это, как правило, информация, найденная в Интернете.

Тем не менее под категорию OSINT попадает любая общедоступная информация, будь то книги или отчеты в публичной библиотеке, статьи в газете или заявления в пресс-релизе.

OSINT также включает информацию, которую можно найти в разных типах медиа. Сюда относится не только текст, но также информация из изображений, видео, вебинаров, публичных выступлений и конференций.

Кто использует OSINT?

  • правительство,
  • правоохранительные органы,
  • военные,
  • журналисты-расследователи,
  • следователи по делам о нарушении прав человека,
  • частные детективы,
  • юридические фирмы,
  • службы информационной безопасности,
  • специалисты по анализу киберугроз,
  • пентестеры,
  • социальные инженеры.

OSINT обладает множеством преимуществ по сравнению с другими формами сбора разведданных, что делает его ценным инструментом для широкого круга организаций и частных лиц:

1. Доступ к информации в открытом доступе: OSINT собирает юридически доступную информацию. Организациям не нужно обращаться к секретным или ограниченным источникам информации, получение которых может быть дорогостоящим и трудоемким.

2. Широкий круг источников: OSINT использует информацию из самых разных источников, включая социальные сети, новостные статьи, правительственные отчеты и научные статьи. Организации могут собирать информацию по широкому кругу вопросов.

Для извлечения информации из больших объемов данных OSINT часто использует передовые аналитические методы, такие как обработка естественного языка (NPL) и машинное обучение.

3. Своевременность: поскольку OSINT опирается на общедоступную информацию, ее можно собрать быстро и в режиме реального времени. Организации могут быть в курсе текущих событий и новых тенденций.

4. Рентабельность: OSINT более экономичен, чем другие формы сбора разведданных. Это связано с тем, что OSINT опирается на общедоступную информацию и не требует специального оборудования или персонала.

5. Прозрачность: OSINT прозрачен и легко поддается проверке. Таким образом, организации могут быть уверены в точности и надежности собранной ими информации.

Мы все используем открытые источники и, вероятно, даже не осознаем этого. Вы можете использовать информацию из открытых источников, чтобы проверить и узнать больше о продавце в ВКонтакте. Или вы можете исследовать кого-то, с кем познакомились на сайте знакомств, или перед тем, как нанять кого-то на работу.

У большинства людей, если не у всех, есть какой-то цифровой след. Просто набрав в поисковой системе имя человека, вы можете очень быстро найти информацию о нем.

Применение OSINT

Разведка на основе открытых источников используется организациями, включая правительства, предприятия и общественные организации. Это полезно при сборе информации по широкому кругу тем, таких как угрозы безопасности, исследования рынка и анализ деятельности конкурентов.

Вот несколько распространенных способов использования OSINT:

1. Безопасность и разведка: OSINT можно использовать для сбора информации о потенциальных угрозах безопасности, таких как террористическая деятельность и кибератаки. Его также можно использовать для сбора разведданных об иностранных правительствах, организациях и отдельных лицах.

Собрав общедоступные источники информации о конкретной цели, злоумышленник или тот, кто проводит испытание на проникновение, может составить профиль потенциальной жертвы, чтобы лучше понять ее характеристики и сузить область поиска возможных уязвимостей.

Сбор данных OSINT о себе или о своем бизнесе также является отличным способом понять, какую информацию вы предоставляете потенциальным злоумышленникам.

Знание того, какую информацию о вас можно собрать из общедоступных источников, поможет вам или вашей службе безопасности разработать более эффективные стратегии защиты. Какие уязвимости раскрывает ваша публичная информация? Какую информацию злоумышленник может использовать в социальной инженерии или фишинговой атаке?

2. Бизнес и маркетинговые исследования: OSINT можно использовать для сбора информации о конкурентах, отраслевых тенденциях и поведении потребителей. Эта информация может быть использована для формирования бизнес-стратегии и принятия решений.

3. Журналистские расследования: OSINT может использоваться журналистами для сбора информации по целому ряду тем, включая политику, бизнес и преступность. Это может помочь раскрыть истории и предоставить доказательства.

4. Академические исследования: исследователи могут использовать OSINT для сбора данных по целому ряду тем, включая социальные тенденции, общественное мнение и экономические показатели.

5. Судебные разбирательства: OSINT может использоваться в судебных разбирательствах для сбора доказательств или проведения комплексной проверки потенциальных свидетелей или обвиняемых.

OSINT — это исключительный инструмент для сбора информации по широкому кругу тем, который может использоваться различными организациями и отдельными лицами для информирования при принятии решений и выработке стратегии.

Как использовать OSINT для защиты своей сети?

Для защиты сетей OSINT можно использовать разными способами, включая эти:

  1. Выявление потенциальных угроз. Организации могут выявлять угрозы, такие как новые уязвимости или новые методы атак, путем анализа общедоступной информации. Это позволит им активно защищать свои сети и системы и предвидеть потенциальные угрозы.
  2. Проведение оценок рисков. OSINT может собирать информацию об операциях, активах и сотрудниках организации, что позволяет проводить тщательную оценку рисков и выявлять потенциальные уязвимости или слабые места в своих сетях.
  3. Мониторинг общественных настроений.Отслеживая социальные сети и другие онлайн-платформы, организации могут получить представление о восприятии и отношении общественности к своему бренду, продуктам и услугам. Это позволит им выявлять потенциальные проблемы и своевременно реагировать на них.

В целом OSINT может предоставить организациям ценную информацию и идеи для эффективной защиты своих сетей и систем от потенциальных угроз.

Как работает OSINT?

Существует пять основных этапов OSINT:

1. Подготовка — это когда оцениваются нужды и требования запроса, такие как определение целей постановки задачи и лучших источников для поиска нужной информации.

2. Сбор — это первичный и самый важный шаг, в ходе которого происходит сбор общедоступной информации из различных источников, таких как социальные сети, новостные статьи, правительственные отчеты, научные статьи и коммерческие базы данных.

Этот процесс можно выполнить вручную путем поиска и просмотра источников или с помощью автоматизированных инструментов, способных искать и собирать информацию.

3. Обработка — после того, как информация собрана, она систематизируется и сопоставляется. Удаляются повторяющиеся, неактуальные или неточные данные. Этот шаг включает в себя фильтрацию и категоризацию информации на основе релевантности и важности.

4. Анализ и производство — обработанная информация затем анализируется для выявления тенденций, закономерностей и взаимосвязей.

Это может включать использование инструментов визуализации данных, интеллектуальный анализ данных и обработку естественного языка для извлечения значимой информации из данных.

5. Распространение — заключительный шаг в процессе OSINT — распространение информации среди лиц, принимающих решения. Это может быть сделано в виде отчетов, брифингов или предупреждений, в зависимости от потребностей организации.

OSINT — это итеративный процесс, включающий в себя постоянное уточнение сбора, обработки и анализа информации на основе новых данных и отзывов.

Кроме того, OSINT подвержен тем же предубеждениям и ограничениям, что и другие формы сбора разведданных, и поэтому требует тщательной оценки и интерпретации квалифицированными аналитиками.

Лучшие практики OSINT

Лучшие практики OSINT включают в себя:

  1. Разработку четкой и всеобъемлющей стратегии OSINT, включающей цели, задачи и приоритеты, а также конкретные источники, методы и инструменты, которые будут использоваться.
  2. Соблюдение юридических и этических норм, таких как законы и положения о конфиденциальности.
  3. Использование различных источников и методов для сбора OSINT, включая социальные сети, новостные статьи, общественные архивы и правительственные доклады, а также передовые аналитические методы, такие как обработка естественного языка и машинное обучение.
  4. Обеспечение качества и надежности OSINT. Например, путем проверки точности и достоверности источников и проведения регулярных оценок своих процессов и практик OSINT.
  5. Применение соответствующих мер для защиты конфиденциальности и целостности своих OSINT, такие как шифрование данных, обеспечение безопасности доступа к системам и сетям и регулярное резервное копирование данных.

В целом следование этим передовым методам поможет организациям эффективно и действенно собирать, анализировать и распространять OSINT, обеспечивая при этом соблюдение правовых и этических норм.

Навыки OSINT

Навыки OSINT — это умения и знания, необходимые для сбора, анализа и использования информации из открытых источников в различных целях.

Эти навыки можно применять в таких областях, как разведка, безопасность и охрана правопорядка, а также в других областях, где важен доступ к информации.

Ключевые навыки OSINT включают в себя:

  1. Понимание различных типов открытых источников, включая общедоступные веб-сайты, социальные сети и другие онлайн-источники.
  2. Знание того, как получить доступ и использовать различные инструменты и методы OSINT, такие как поисковые системы, парсинг в социальных сетях и анализ метаданных.
  3. Развитие способности анализировать и интерпретировать данные из открытых источников, включая выявление закономерностей, тенденций и связей.
  4. Создание сети контактов и источников, способных предоставить ценную информацию и идеи.
  5. Умение излагать результаты и выводы в ясной, краткой и убедительной форме.

Навыки OSINT включают в себя сочетание технических знаний, аналитических способностей и навыков межличностного общения. Эти навыки необходимы всем, кто работает в сфере, опирающейся на OSINT.

Пассивный и активный OSINT

Важно понимать разницу между между пассивными и активными исследованиями.

Пассивный OSINT означает, что вы не взаимодействуете с целью. Речь идет о сборе информации из открытых источников. При этом отсутствует какое-либо общение или взаимодействие с людьми в Интернете, включая комментарии, обмен сообщениями, добавление в друзья и/или подписку.

Активный OSINT означает, что вы каким-то образом взаимодействуете с целью, т. е. добавляете цель в друзья в социальных профилях, ставите лайки, комментируете публикации цели в социальных сетях, отправляете ей сообщения и т. д. Активные исследования могут рассматриваться некоторыми организациями как секретная операция.

Пассивный и активный OSINT

Для активного исследования необходимо слиться с группой. Если вы взаимодействуете с целью, вы можете создать пару учетных записей на разных платформах, чтобы все выглядело так, будто вы реальный человек.

Организации могут по-разному толковать пассивное и активное взаимодействие. Например, вступление в закрытые группы фейс-сети может показаться некоторым организациям пассивным, в то время как другие посчитают это активным взаимодействием.

Иногда эта разница может подразумевать своего рода возможность работы под прикрытием, поэтому очень важно иметь типовые инструкции, в которых указано, на каком уровне организации находится этот тип взаимодействия.

Некоторые исследователи оправдывают присоединение к группам как пассивное тем, что они только «пассивно» смотрят и фактически не общаются с целями.

Методы OSINT

Разведка по открытым источникам охватывает широкий спектр методов сбора и анализа общедоступной информации. Вот некоторые из них:

  1. Поисковые системы. Такие поисковые системы, как Google, Bing, Yandex и Yahoo, являются ценными инструментами для сбора данных OSINT. Используя операторы расширенного поиска, аналитики могут быстро фильтровать и уточнять результаты поиска, чтобы найти нужную информацию.
  2. Социальные сети. Платформы социальных сетей, такие как Twitter, фейс-сеть и LinkedIn, являются ценными источниками OSINT. Отслеживая и анализируя активность в социальных сетях, аналитики могут получить представление о тенденциях, настроениях и потенциальных угрозах.
  3. Общественные архивы: общедоступные записи, такие как судебные материалы, записи о собственности и деловые документы. Получая доступ к этим записям, аналитики могут собирать информацию о лицах, организациях и других объектах.
  4. Источники новостей: такие как газеты, журналы и информационные порталы. Отслеживая и анализируя новостные статьи, аналитики могут получить представление о текущих событиях, тенденциях и потенциальных угрозах.
  5. Парсинг сайтов. Парсинг предполагает использование специальных инструментов для извлечения данных с сайтов. С их помощью аналитики могут быстро и эффективно собирать большие объемы данных.
  6. Инструменты анализа данных. Инструменты анализа данных, такие как Excel, Tableau и R, полезны для анализа больших наборов данных. Используя эти инструменты, аналитики могут выявлять закономерности, тенденции и взаимосвязи в данных.

Методы OSINT постоянно развиваются по мере появления новых технологий и источников информации. Для аналитиков важно быть в курсе новых методов и инструментов, чтобы эффективно собирать и анализировать OSINT.

5 инструментов OSINT для исследования безопасности

Для исследования безопасности доступно множество различных инструментов OSINT. Вот наиболее популярные и эффективные из них.

Maltego 

Maltego

Этот инструмент используется для проведения разведки на основе открытых источников и судмедэкспертизы. Он позволяет собирать, визуализировать и анализировать данные из различных источников, включая социальные сети, «глубокую Сеть» и другие онлайн-источники.

FOCA

FOCA

Инструмент используется для анализа метаданных, позволяя извлекать скрытую информацию из документов и других файлов. Он может раскрывать скрытые данные, такие как IP-адреса, email-адреса и другую конфиденциальную информацию.

Shodan

Shodan

Используют для сканирования и поиска в Интернете, позволяя пользователям обнаруживать подключенные устройства и сети. Его можно использовать для выявления уязвимостей и потенциальных угроз безопасности.

TheHarvester

TheHarvester

Используют для сбора email-адресов, дочерних доменов и другой информации из различных онлайн-источников, включая поисковые системы, социальные сети и «глубокую Сеть».

Recon-ng

Recon-ng

Это инструмент для веб-разведки: он позволяет собирать информацию из различных онлайн-источников, включая социальные сети, записи DNS и «глубокую Сеть».

Высоких вам конверсий!

По материалам: sentinelone.com, sans.org. Авторы: команды Sans, SentinelOne

blog comments powered by Disqus
Возвращайте до 18% с пополнений рекламы
  • Все популярные рекламные сети в одном окне
  • Рекламные инструменты — бесплатно
  • Доступ к конструктору лендингов и WebApp-приложений
  • Закрывающие документы точно в срок
ring svg
copyright © 2011–2024 Все права защищены
Запрещено любое копирование материалов ресурса без письменного согласия владельца — ООО "Феникс-Маркетинг". ИНН:7725812838, КПП:772501001, ОГРН: 513774619323915280, Москва, ул. Ленинская слобода, д. 19, стр. 1, этаж/пом 3/25

ООО «Феникс-Маркетинг» — IT-компания с многолетним опытом работы, разрабатывающая инновационные решения для управления процессом лидогенерации (пост-клик маркетинг). Разработанное нами технологическое программное решение LPGENERATOR позволяет создавать целевые страницы в визуальном редакторе и управлять заявками (лидами) в CRM-системе в целях проведения эффективных, высококонверсионных рекламных кампаний