来源：https://linkurious.com/blog/graph-based-intelligence-analysis/
https://linkurious.com/graph-analytics/
几十年来，情报界一直在收集和分析信息，为情报消费者提供及时和可操作的见解。但随着信息收集量的增加，分析师在数据处理和分析方面面临着新的挑战。在本文中，我们探讨了图形技术为情报分析提供的可能性。
一、大数据时代的情报收集与分析
数字时代为情报、监视和侦察带来了新的可能性，包括传统的和新的情报来源。在每个规程中收集的可能性已经扩大了。例如，开源情报(OSINT)的收集渠道随着互联网的发展而增多，提供了获取新的有价值信息的途径。数字技术的普及也扩大了生产，从而扩大了收集的可能性，用户从世界任何地方的便携设备生成和共享内容。
但这些变化也让分析师付出了代价:
1、更多的数据需要额外的处理工作，因为未处理的数据是不可利用的，因此没有价值。新数据不断被收集，需要定期更新和处理。
2、一旦处理，这些数据收集通常是相当大的。这使得相关数据的识别变得复杂和缓慢，甚至当标签或索引没有完美完成时，识别甚至是不可能的。
3、数据分散在不同的竖井中。它有各种各样的格式和类型，处理方式各不相同。这种多样性使多元智能或全源分析变成了一项乏味的任务:当不同工具中存在两个、十个或一百个数据片段时，如何将它们联系起来?
这对分析有直接的影响。处理那些庞大的、动态的和各种各样的数据资产是困难和耗时的。与此同时，威胁的复杂性仍然不变。为了识别它们，分析人员必须能够交叉检查各种数据资产，以便发现将产生可操作情报的关键元素和模式。
二、图形技术支持情报分析
为了更新和改进传统的情报周期，情报制作者正在转向新的工具和方法。在这些工具中，我们发现了图形技术。底层方法允许分析人员快速访问相关数据，并在大型异构集合中筛选，以找到包含高价值信息的小子集。
图技术方法依赖于将数据作为网络处理的模型。信息以节点的形式存储，通过表示节点之间关系的边相互连接。这实际上是一种思考情报数据的自然方式:无论是人、电信还是事件，这些元素通常形成相互连接的网络。
1、图形数据库:在单个模型中收集数据
图或RDF数据库为存储连接的数据进行了优化。它的出现是为了解决传统数据库的局限性。关系数据库的设计目的是编纂和存储表格结构。虽然它们在这方面做得很好，但当涉及到处理大量连接数据时，它们的表现并不好。另一方面，在连接数据方面，图形数据库比传统技术有几个优势:
性能:这些系统被设计用来处理数据关系，在查询数据连接时，它们极大地提高了性能。
灵活性:图形数据库很容易适应快速缩放的数据。随着组织需求的发展，您可以丰富或更改数据体系结构。
流行的图形存储供应商包括JanusGraph或Neo4j。这些系统在过去十年中得到了广泛的开发，响应了对大规模使用连接数据的组织的技术解决方案日益增长的需求。
通过图形技术，您可以组合多维数据，包括时间序列、人口或地理数据。它将来自多个来源和格式的数据聚合成一个单一的、全面的数据模型，可以扩展到数十亿个节点和边。
这在多情报或全源分析识别可疑模式、异常或不正常行为中是必不可少的。事实上，当您分析实体之间的动态而不仅仅是单个实体的特征时，更容易发现可疑活动。通过这种方法，分析人员可以轻松地在一个视图中收集和分析关于人、事件和位置的数据。
最后，图形技术为情报和执法机构提供了几个优势。它提供一个单一入口点，指向集成在唯一模型下的多个数据源和数据类型。分析人员可以从异构数据及其连接的分析中产生情报。
在组织中引入图形数据库会带来一系列新的挑战。如何让分析师以合适的方式访问数据?如何使他们能够发现隐藏在数十亿节点和关系的复杂网络中的信息?这就是图形可视化和分析工具派上用场的地方。
2、图形可视化和分析平台
虽然图的方法提供了一个统一的模型，但对分析人员来说，发现巨大的数据量仍然是一个挑战。除此之外，还必须加上情报消费者的压力，他们希望分析师及时提供情报见解。
正如我们前面所解释的，可视化工具对于调查来说是一笔巨大的资产。
（1）他们是无代码;
（2）它们能提高你的效率，因为我们的大脑理解图像的速度要快于理解文本或图形;
（3）这些工具也增加了发现洞察力的机会。
当您处理连接的数据时，图形可视化和分析无疑是一种比传统的分析电子表格或存储在关系数据库中的数据更有效的方法。
此外，图分析还提供了一套有价值的方法来从连接的数据中获得见解。例如，有许多算法，源自图论和社会网络分析，可用于识别社区，发现高度连接的个人或理解通过网络的信息流。
Linkurious Enterprise等图形调查工具是情报分析人员面对大数据挑战的额外资产。这些工具的设计目的是让分析师利用图形数据库的力量发现隐藏在复杂数据集中的见解，它们还提供了比内部工具或复杂的专有平台(如i2或Palantir)更敏捷的灵活性。
在威胁检测和调查方面，图形调查工具降低了处理数据的性质和数量所带来的复杂性和噪声。
三、用Linkurious Enterprise收集情报
在Linkurious Enterprise中，具有不同数据源或多种实体类型的复杂数据域成为一个单一的、综合的图。分析师可以直观地调查大量的数据收集。他们可以从基于浏览器的界面中搜索已知的模式和可疑的链接。数据过滤器和视觉样式帮助他们专注于重要的东西，并减少大量数据产生的噪音。
下面，我们使用OSINT数据展示了Linkurious Enterprise的一些可视化和分析功能。我们使用了一个公开的数据集，全球恐怖主义数据库。我们将部分数据(从2013年到2016年)按照一个简单的图模型建模为一个图数据库。
然后，使用脚本将数据导入图形数据库(有几种不同的选项来建模和导入数据)。我们的数据库包含约90,000个节点和240,000个关系，这些都可以在Linkurious Enterprise中进行调查。
1、数据调查
分析人员可以使用全文搜索功能来查找数据库中的特定信息。只需点击几下鼠标，就可以将2013年至2016年间发生在法国的所有恐怖袭击可视化。棕色和绿色的节点分别代表法国的省和城市。每个蓝色节点代表一个城市记录的恐怖主义行为。当作者被知道时，他们被一个黄色的节点象征，与事件联系在一起。
底层的图结构使我们能够更好地理解事件。连接和不同类别的数据(事件、位置、人员)提供了一些有助于分析的上下文信息。例如，通过查看节点集群和关系，我们可以确定:
恐怖主义活动在法国一直很重要;
自2015年以来，法兰西岛一直是恐怖主义的主要目标;
沙拉菲圣战组织(ISIS、ISIL、基地组织等)的活动一直很重要，尤其是在巴黎地区;
科西嘉地区在很大程度上受到恐怖主义行为的影响;
南方某些特定地区是发生事件的主要地区。
从这个快速生成的可视化中，我们能够确定法国的主要恐怖主义趋势(伊斯兰恐怖主义的崛起，地方冲突和民族主义运动)。在现实生活中，专业的情报分析人员可以根据对冲突和恐怖主义数据的分析，提供准确的报告。
2、地理空间可视化
图模型支持异构数据的聚合，因此可以用地理空间信息丰富我们的OSINT数据。在我们的例子中，每个“事件”节点都带有地理位置属性，允许我们在Linkurious Enterprise内部的地图上显示它们。下面是一个地理空间可视化的例子，地图上的事件用红色节点表示，代表了2014年一个月的恐怖活动。
在情报团队中，此功能用于跟踪在一个区域内短时间内发生的一系列事件。对于训练有素的分析师来说，一连串的动态事件是一种已知的模式，能够识别出相关性和潜在的恐怖主义策略。
3、模式检测
图形数据库的优势在于，它们允许您快速遍历大量的实体和关系以检索信息。与基于关系数据库的系统相比，这是一个很大的变化，在关系数据库中，查询连接是计算和内存密集型操作，成本是指数级的。有了Linkurious Enterprise，我们就可以利用图形数据库的强大功能来搜索特定的场景，比如“这两个看似毫无关联的恐怖组织之间是否有联系，如果有联系，又是如何联系的?””。对于情报分析人员来说，这可以帮助识别关键的个人，将一系列事件与人联系起来，或了解一个组织内的工作动态。结合他们的知识和经验，在连接数据中发现模式是进行情报分析的额外资产。
下面是一个通过图形查询生成的可视化示例，它匹配了2013年以来世界上最致命的10起袭击，以及它们与组织、城市和地点的联系。
在Linkurious Enterprise中，模式检测可以作为警报实现自动化。这减少了分析人员的工作量，因为平台可以自动监控大量数据，以发现隐藏的连接和复杂的模式。
四、展望
在我们的示例中，我们在有限的时间内从单个数据源创建了数据库。但是，根据您想要回答的问题，可以从其他来源添加数据来丰富数据库。例如，您可以添加来自电话拦截或金融交易的数据，以识别攻击之间的潜在关系。
除了我们刚才看到的，分析人员还可以使用高级图表分析，这是一套专门设计用来在关联数据中发现深刻见解的方法。例如，有许多源自图论的算法，可以用来识别社区，发现在网络中占据关键位置的人，或理解信息、金钱或人员如何在网络中流动。
最后，图技术使情报分析人员能够应对大数据时代带来的变化。在处理、存储和分析今天收集的复杂数据方面，它是一种资产。虽然图形数据库非常适合在一个地方聚合和连接大量资源，但Linkurious Enterprise可以帮助分析团队轻松地找到大型图形中隐藏的智能。它突出了数据之间的联系，使分析人员能够更好地理解和分析复杂的情况。在一天结束的时候，分析师可以更好地利用他们的数据来产生高价值的见解。
