第九期|不是吧，我在社交媒体的照片也会被网络爬虫？

顶象防御云营业平安谍报中心监测到，某社交媒体平台遭遇继续性的歹意爬虫窃取。被批量窃取用户信息和原创内容，经分类梳理和初步加工后，被黑灰产转售给合作敌手或间接用于歹意营销。由此不只给社交媒体平台的数字资产带来间接丧失，影响用户对社交媒体平台的信赖，更毁坏了内容财产的安康开展。

社交媒体是重要的内容平台

中国互联收集信息中心（CNNIC）第46次《中国互联收集开展情况统计陈述》显示，截至2020年6月，微信伴侣圈利用率为85.0%，QQ空间、微博利用率别离为41.6%、40.4%，较2020年3月别离下降6个百分点、2.1个百分点。

微信伴侣圈、微博等支流社交平台持久占据大部门流量，并通过不竭丰硕的短视频、电商、当地生活等办事，构建完美的流量闭环和办事生态。通过社交平台，网民和企事业组织积极分享图文视频信息，停止各类宣传推广，展现个别形象。例如，2022年北京冬奥会是迄今收视率更高的一届冬奥会，在全球社交媒体上吸引超20亿人存眷。

顶象防御云营业平安谍报中心第BSI-2022-dpda号谍报显示，有黑灰产团伙开发出专门的歹意收集爬虫软件，破解某社交媒体平台的通信接口和算法，通过窜改IP地址等体例，绕过平台设置的平安防护办法，对该社交媒体停止高频的数据窃取。被窃取的数据包罗社交媒体用户信息，以及用户原创的文章、图片、视频等内容。

社交媒体平台的数据是企业的重要数字资产。做为新型的消费要素，不只是企业核心的合作力，更是新产物、办事、流程和办理的重要构成部门。歹意爬虫的爬取、盗用行为，不只形成企业数字资产丧失，带来间接的经济丧失，消耗了平台办事和带宽资本，严峻毁坏内容财产的生态次序。

歹意爬虫肆意窃取社交媒体原创内容

机械工业出书社出书的《攻守道—企业数字营业平安风险与提防》一书中，认为歹意收集爬虫会带来数字资产丧失、用户隐私泄露和侵扰营业一般运行等三大危害，并将“歹意收集爬虫”列为十大营业欺诈手段之一。

收集爬虫，又被称为网页蜘蛛，收集机器人，是根据必然的规则，主动地抓取收集信息和数据的法式或者脚本。收集爬虫分为两类，一类是搜刮引擎爬虫，为搜刮引擎从广域网下载网页，便于搜刮检索，后者则是在指定目的下载信息，用于存储或其他用处。另一类是歹意爬虫，是从公开或半公开收集平台抓取商品、办事、文字、图片、用户信息、评论、价格信息以及账户密码、联络体例、身份等隐私信息。

顶象防御云营业平安谍报中心阐发发现，窃取某社交媒体的歹意爬虫共有两种：第一种歹意爬虫由开发编程才能的人员自主编写，可以根据需要和目标，对规则、逻辑停止自定义；第二种歹意爬虫是间接购置原则化的爬虫东西，简单易用上手快，同时搭售反爬东西。

爬虫开发造做门槛比力低。良多手艺论坛社区有关于爬虫开发、研究、利用介绍，市道上也有良多专业的爬虫册本。只要掌握Python编程语言，根据论坛、社区和册本上供给的爬虫教程和实操案例，同时根据爬虫手艺喜好者分享出来的平台、网站、App的API接口信息，就可以快速搭建出一套专门的爬虫东西。

展开全文

同时，市道也有良多原则化的爬虫东西。那类东西供给了可视化的操做，不懂编程、没有开发才能也可以利用。只需要简单的设置装备摆设，就可以对目的停止爬取。不只爬取的进度和成果是可视化，成果导出也相当便当。而且，那类东西还会供给付费购置的东西，搀扶帮助利用者绕过常规的反爬办法。

黑灰产窃取社交媒体数据的目标

黑灰产窃取数据是为了取利。窃取社交平台的用户信息和原创内容后，黑灰产对数据停止贮存、加工，然后行贸易化售卖，以至停止诈骗。顶象防御云营业平安谍报中心阐发发现，黑灰产窃取社交媒体数据次要是以下三个目标。

第一类，为其他平台导流。有十分多针对社交媒体的数据阐发平台。通过对社交平台d用户账号信息、内容、阅读、点赞等数据分类处置后，就能够停止内容阐发、榜单排行、数据监控等供给办事，输出为三方舆情办事。或者，提取出用户的存眷聚焦点，造做类似聚焦的内容，为其他平台做导流。

第二类，搬运内容为其他账号吸引粉丝。粉丝是社交媒体账号影响力的重要表现之一。因为大大都账号本身创做才能有限，良多账号通过爬虫爬取别人的优良文章、视频，再将内容简单加工后从头发布到本身的账号，由此到达快速吸粉的目标。说白了，就是抄袭别人原创版权。

第三类，造做仿冒账号停止诈骗。通过爬虫爬取社交平台别人的信息、分享的文章、视频等内容，在同个平台或在另一个社交平台成立高仿的虚假账号，骗取粉丝的存眷，然后停止各类欺诈。

此外，合作敌手也会操纵收集爬虫停止恶性合作。同业的合作是赤裸裸的。很多公司会雇佣黑灰产，对目的平台倡议数据窃取进攻，从而招致竞品无法一般利用。若是在某个重要的节点，通过歹意爬虫对目的平台停止大流量的拜候或窃取，会霎时过高的并发量，呈现DDoS效果，招致大量通俗用户无法一般拜候该网站，骚乱平台的一般运营。

歹意收集爬虫的手艺特征

机械工业出书社出书的《攻守道—企业数字营业平安风险与提防》一书中，对歹意收集爬虫有详细的手艺特征阐发，大致来看，主包罗以下几点特征。

1、拜候的目的集中。歹意收集爬虫次要是爬取核心信息，因而只阅读拜候多个页面，关于非涉及信息数据的页面不做不拜候。

2、行为有法例。因为爬虫是法式化操做，根据预先设定的流程停止拜候等，因而闪现出有法例、有节拍且同一的特征。

3、统一设备上有规模化的拜候和操做。爬虫的目标是最短时间内抓取最多信息，因而统一设备会有大量离散的行为，包罗拜候、阅读、查询等。

4、拜候IP地址异常。爬虫的IP来源地址闪现差别维度上的聚集，并且阅读、查询等操做时不断变更IP地址。而且良多爬虫法式假装成阅读器停止拜候，而且通过购置或者租用的云办事、革新路由器、租用IP代办署理、频繁变动代办署理IP等停止拜候。

5、操做多集中非营业时间段。爬虫法式运行时间多集中在无人值守阶段。此时系统监控会放松，并且平台的带宽等资本占用少，爬虫密集的批量爬取不会对带宽、接口形成影响。

针对歹意收集爬虫的防控定见

基于歹意收集爬虫的手艺特征以及社交媒体平台的特点，顶象防御云营业平安谍报中心平安及防控定见如下。

1、平安防护定见

加强平台风险情况监测。社交平台的客户端可集成平安SDK，使其按期对App的运行情况停止检测，关于存在代码注入、hook、模仿器、云手机、root、越狱等风险可以做到有效监控和拦截。

保障客户端平安。社交阐发平台的APP和网页，能够别离摆设H5稠浊防护及端平安加固，以保障客户端平安。

保障通信传输平安。黑产在营业通信传输的环节，可能会测验考试窜改、爬取报文数据。通过对通信链路的加密，可避免末端平安检测模块的数据被窜改和冒用。

加强营业平安战略防控。针对批量爬虫的风险特征，可将社交媒体中各个营业查询场景的恳求接入营业平安风控系统。同时将末端收罗的设备指纹信息、用户行为数据等传输给风控系统，通过在风控系统设置装备摆设响应的平安防控战略，有效地对风险停止识别和拦截。

1）设备末端情况检测。识别客户端（或阅读器）的设备指纹能否合法，能否存在注入、hook、模仿器等风险。凡是批量做弊软件大多都存在以优势险特征。

2）行为检测。基于设备行为停止战略布控。针对同设备高频查询，同IP高频查询，不异IP段频频高频查询的恳求停止监控。

3）名单库敬服。统计基于风控汗青数据，关于存在异常行为的账号、IP段停止标注，沉淀到响应的名单库。关于名单表内的数据在做战略时停止分层，恰当加严管控。

4）外部数据办事。考虑对接手机号风险评分、IP风险库、代办署理邮箱检测等数据办事，关于风险停止有效识别和拦截。

2、处置及防控办法

顶象防御云营业平安谍报中心定见，对识别为风险的恳求停止实时拦截，间接反应查询失败等，或在发现异常后通过弹出验证码的体例要求停止人机识别。

第五代智能验证码。验证码可以阻挠歹意爬虫盗用、窃取数据行为，避免小我信息、平台数据泄露。当某一设备或账户拜候次数过多后，就主动让恳求跳转到一个验证码页面，只要在输入准确的验证码之后才气继续拜候网站。但是设置复杂的验证码会影响用户操做，带来负面的体验感触感染。

设备指纹+风控引擎+智能模子平台。设备指纹及时识别注入、hook、模仿器等风险，风控引擎对注册、登录、领取等操做停止风险实时识别断定；智能模子平台搀扶帮助社交媒体构建专属风控模子，由此构建多维度防御系统，有效拦截各类歹意爬虫风险，且不影响一般用户体验。

免费试用营业平安产物：#/