违反
乌云:五角大楼内部'泄漏的互联网监视档案

乌云:五角大楼内部'泄漏的互联网监视档案

UpGuard团队
UpGuard团队
2017年11月17日发布
加入27,000多个网络安全通讯订阅者

尽管此博客文章描述了涉及国防部的数据泄露发现,但不再活跃 数据泄露。一旦UpGuard网络风险小组将此公开信息通知了国防部,便立即采取了行动,确保了开放的存储桶的安全并阻止了进一步的访问。  

UpGuard网络风险小组现在可以透露,三台可公开下载的基于云的存储服务器暴露了国防部情报收集行动中收集到的大量数据。储存库似乎包含数十个公共互联网帖子和新闻评论,它们是由CENTCOM和PACOM(五角大楼的两个统一作战指挥官,负责美国在整个中东地区的军事行动)从包括美国在内的许多国家的许多人的著作中删除的东,亚洲和南太平洋。

在过去8年中,三个存储桶之一中暴露的数据估计至少包含18亿条刮擦的互联网内容,包括从新闻网站,评论栏目,网络论坛和社交媒体网站(如Facebook)捕获的内容,其中包括语言和起源于世界各地的国家。其中有许多显然是美国人的良性公共互联网和社交媒体帖子,收集在五角大楼的一次情报收集行动中,引发了严重的隐私和公民自由问题。

尽管粗略地检查了数据,发现一些被抓取的数据与美国地区安全问题之间存在松散的相关性,例如与伊拉克和巴基斯坦政治有关的职位,大量被俘的全球职位显然具有良性,以及来源其中许多来自美国境内,引起了严重关注 五角大楼对美国公民进行监视的范围和合法性。此外,仍不清楚为什么收集数据以及出于何种原因收集数据,从而显示出绝大多数被俘获职位来自世界各地守法平民的可能性。

有证据表明创建这些数据存储所用的软件是由一家名叫VendorX的私营部门政府承包商显然已经停产并运行的,这种云泄漏现象清楚地表明了第三方卖方风险有多大破坏力,甚至可以影响到五角大楼的最高梯队。 CENTCOM和PACOM的CSTAR网络风险评分很差- 542409分别达到了950个最大值,这进一步表明即使是最敏感的情报组织也无法幸免于巨大的网络风险。最后,在几个不安全的数据存储库中收集的数十亿个互联网帖子引发了有关在线隐私以及在网上自由表达您的信念的权利的其他问题。

发现

2017年9月6日,UpGuard网络风险研究总监Chris Vickery发现了三个Amazon Web Services S3云存储桶,这些存储桶配置为允许 AWS全局身份验证用户 浏览和下载内容;这种类型的AWS账户可以是 免费注册获得。这些存储区的AWS子域名-“ centcom-backup”,“ centcom-archive”和“ pacom-archive”-可立即表明数据存储库的重要性。 CENTCOM是指 美国中央司令部总部设在佛罗里达州坦帕市,负责美国从东非到中亚的军事行动,包括伊拉克战争和阿富汗战争。 PACOM是 美国太平洋司令部总部位于美国威斯康星州艾雅,业务覆盖东亚,南亚和东南亚,以及澳大利亚和太平洋大洋洲。

Amazon S3文件

关于这些数据存储的来源还有其他线索。 “ centcom-backup”存储桶中的“设置”表表明该软件由一家名为VendorX的公司的员工操作,并列出了具有访问权限的许多开发人员的详细信息。尽管关于这家公司的公共信息很少,但互联网搜索显示,有多家为VendorX工作的人描述了CENTCOM和国防部的前哨建筑工作:

通过员工的LinkedIn页面描述VendorX在Outpost上的工作。
通过员工的LinkedIn页面描述VendorX在Outpost上的工作。


外部将“前哨基地”称为五角大楼 社会工程学 “ centcom-backup”的内容似乎证实了VendorX所做的努力,此外,“设置”表中对VendorX的引用还包含一个名为“ outpost”的文件夹。该文件夹中包含用于Outpost的开发配置和API,并且此内容与前雇员所描述的“ Outpost”计划的确切关系'配置文件仍然不清楚,它的用途可能由存储桶中的许多非常大的压缩文件提供一些指示。经过解压缩后,这些文件被发现包含Lucene索引,这是一个搜索引擎,用于轻松地搜索大量数据(包括关键字,部分单词和单词组合)中大量不同语言的搜索词。这些经过优化以与Elasticsearch进行交互的Lucene索引似乎在解析Internet内容,类似于其他存储桶中包含的内容。

总而言之,这种分散的数据收集似乎构成了互联网帖子大量收集的提取引擎-将大量数据整理成可搜索的形式。前雇员 '通过检查“ centcom-backup”中的另一个文件夹,进一步证实了“世界上不稳定地区的高风险青年”的提法。

centcom备份文件


从2009年到2015年,该文件夹名为“抓取”,包含大量XML文件,其中包括从公共互联网“抓取”的互联网内容。另一个CENTCOM存储桶“ archive”将包含从2009年至今收集的更多此类数据。由于有许多信息字段描述了帖子的来源,性质,内容和网址,因此以明文形式列出了数千种此类已抓取内容的示例-另一个示例中包含的大量此类数据存储的较小示例。

   样本帖子的屏幕截图,其中包含可见的信息字段。
   样本帖子的屏幕截图,其中包含可见的信息字段。
样本帖子的屏幕截图,其中包含可见的信息字段。


但是,“抓取”中还包含一个名为“珊瑚”的文件夹,该文件夹可能是指 美国陆军的“珊瑚礁”情报软件。该文件夹包含一个名为“ INGEST”的目录,该目录包含所有剪贴并保留在“ centcom-backup”存储桶中的帖子。作为“珊瑚礁计划”的组成部分,“珊瑚礁计划”“允许情报使用者更好地了解目标人物之间的关系”。 分布式公共地面系统军(DCGS-A)智能套件, “军队'的主要系统,用于发布数据,处理信息以及向所有组件和梯队传播有关威胁,天气和地形的情报,监视和侦察信息。从“ centcom-archive”开始,在其他两个类别中,将重点放在收集有关“感兴趣的人”的情报上会更加明确。

centcom-archives.s3.amazonaws.com


“ centcom-archive”存储桶包含更多以与“ centcom-backup”中所见相同的XML文本文件格式存储的已刮擦的Internet帖子,只是规模更大:保守地,这里至少存储了18亿个此类帖子。这个庞大的存储库吸收了各种各样网页的内容;尽管Facebook是一个受欢迎的经常性主机,但从足球讨论组到视频游戏论坛,所有内容都是抓取的网络帖子的来源。这些帖子本身使用多种不同的语言,但重点是阿拉伯语,波斯语(在伊朗和阿富汗使用)以及在阿富汗和巴基斯坦使用的中亚和南亚方言。最新的索引文件是在2017年8月创建的,就在UpGuard被发现之前,由2017年2月收集的帖子组成。在“ centcom-backup”中看到的任何Lucene索引文件都不存在-该存储桶的内容纯粹是互联网搜寻器的输入(或也许还有输出)。没有迹象表明对这些职位的重视程度。

鉴于CENTCOM团队专注于收集和组织主要来自中东和南亚的数百万个互联网帖子-珊瑚礁之类的计划当然也会对此感兴趣-看到提示可能并不奇怪为什么其中一些职位具有重要意义。批评或嘲笑ISIS的阿拉伯文张贴在伊拉克反圣战组织的Facebook页面上,或巴基斯坦政客Imran Khan在Facebook官方页面上发表的普什图语评论,双方均对此进行了审查 塔利班美国政府,提供一些内容指示,CENTCOM在起诉区域战争和打击伊斯兰极端主义者时可能会感兴趣。

“ pacom-archive”存储桶与“ centcom-archive”的内容和结构非常相似,但是偏向东南亚和东亚职位,以及一些澳大利亚人。总而言之,“ centcom-archive”和“ pacom-archive”存储桶似乎存储了原始摄取(甚至可能是原始) 排遗)大规模的互联网内容,也许可以通过文本提取编程来运行。该数据与在“ centcom-backup”中发现的可搜索Lucene索引的关系仍然不清楚。综上所述,数据表明,“珊瑚”社交媒体与评论抓取项目之间存在精心设计的相互作用, 被称为“雷神”的摄取引擎 以及称为“前哨基地”的公共影响倡议。

意义

尽管建立大规模数据收集的总体目的似乎很明确,但用于构建这些数据存储区的收集方法仍然有些模糊 反映美国已知的防御措施,以监视互联网上的暴力激进主义。例如,为什么要收集每个帖子?是什么促使它们被包含在这些存储库中的?

由于规模庞大,很难确切说明这些特殊职位在近十年中是如何或为什么被收集的。鉴于这些数据存储的巨大规模,粗略搜索会发现许多外国来源的帖子,这些帖子看上去完全是良性的,与美国情报机构关注的领域没有明显的联系,或者起源于美国公民,包括庞大的大量的Facebook和Twitter帖子,其中包含一些政治观点。在收集的详细信息中,包括有针对性的职位的网址以及作者的其他背景信息,这些信息可进一步确认其起源于美国公民。

尚不清楚收集该数据的依据。
尚不清楚收集该数据的依据。
尚不清楚收集该数据的依据。

更清楚的是这些数据存储库内容的重要性。国防部出于不清楚的原因而在海量存储库中收集公共互联网帖子是一回事。缺乏保障他们安全的另一个原因。 CENTCOM和PACOM CSTAR网络风险评分为 542409 提供了两个主要军事组织的数字防御的装甲缺口的迹象。这种数据可能被滥用或利用,可能是针对遭受民用暴力破坏的外国互联网用户,这是一个令人不安的可能性,因为与美国军事情报行动有关的存储桶中存在美国公民的互联网内容。 《波斯国民宪法》(Posse Comitatus Act)限制军方 用作执法工具,但在国会明确授权的明确国家紧急情况下除外”,但正如最近所看到的那样,这种分离已被侵蚀。

尽管存在所有这些问题,但这里也存在着同样的网络风险问题,这些问题在整个地区都引发了不安全因素。一个简单的权限设置更改就意味着这些数据存储库之间的差异将向更广泛的Internet公开或保持安全。如果高敏感度的关键信息无法由政府或受信息委托的第三方供应商保护,后果将不仅影响负责任的任何政府组织和承包商,而且还将影响以信息或互联网发布为目标的任何人通过此程序,可能会导致对帖子创建者的不公平偏见或不必要的行为。

UpGuard如何帮助检测和防止数据泄露和数据泄漏

像这样的公司 洲际交流泰勒·弗莱纽约证券交易所,IAG,First State Super,Akamai,Morningstar和NASA使用UpGuard'的安全等级以保护其数据, 防止数据泄露 并评估他们的安全状况。

UpGuard供应商风险 可以最大程度地减少您的组织用于评估相关和第三方的时间 信息安全 通过自动化控制 供应商问卷 and providing 供应商问卷模板.

我们可以帮助您持续监控供应商'外部安全控制,并提供公正的安全评级。 

我们还可以帮助您立即针对您当前和潜在的供应商与他们的行业进行基准比较,以便您了解它们的堆叠方式。

为了评估您的信息安全控制, UpGuard BreachSight 可以监视您的组织以进行70多种安全控制,从而提供简单易懂的信息 安全等级 并自动检测S3存储桶,Rsync服务器,GitHub存储库等中泄漏的凭据和数据暴露。

UpGuard与其他安全评级供应商之间的主要区别在于,有非常公开的证据表明我们在预防  数据泄露 and 数据泄漏

我们的专业知识在以下方面得到了体现: 纽约时报华尔街日报彭博社华盛顿邮报福布斯路透社和 TechCrunch。

您可以详细了解我们的客户在说什么 Gartner评论和 在这里阅读我们的客户案例研究

如果你'd想看你的组织's 安全等级, 单击此处请求您的免费安全等级.

立即预订UpGuard平台的演示.

UpGuard客户支持团队UpGuard客户支持团队UpGuard客户支持团队

保护您的组织

取得联系或预订免费演示。
抽象形状抽象形状

相关违规

了解有关网络安全的最新问题的更多信息。
传送图标

注册我们的时事通讯

每周在收件箱中获取最新精选的网络安全新闻,漏洞,事件和更新。
抽象形状抽象形状
免费即时安全评分

您的组织有多安全?

索取免费的网络安全报告,以发现您的网站,电子邮件,网络和品牌上的主要风险。
  • 检查图标
    您可以立即采取行动的即时见解
  • 检查图标
    13个风险因素,包括电子邮件安全,SSL,DNS运行状况,开放端口和常见漏洞
网站安全扫描结果网站安全扫描等级抽象形状