多亏学了这个Python库，一晚上端掉了一个传销团伙...
“这是从他们窝点电脑里导出的一份数据，你先看看能不能找出什么端倪，我再去找几个人问问话。”
王队丢给我一个u盘，拿起饭盒胡乱塞了几口饭，便拎起帽子快步走出了办公室。
今晚我们根据情报，前往一处传销窝点实施了抓捕行动，带回来了十几个人。
但现场没有发现什么重要证据，抓到的几个人也都缄口不言，现在没法知道他们是否还有其他的窝点，也不知道他们的上线是谁人在哪里，行动一时陷入了僵局。
而此时我手中的这份文件，可能会成为破局的关键。
我开始观察起这份人员名单：invite_id字段是不重复的，应该和人名是一对一的关系；而invited_id重复的很多，而且基本都是在invite_id出现过的数据。
所以我们基本可以推断出，这是一份记录传销组织上下线关系的名单。数据足有数百条之多，可见这是一个不小的犯罪组织。
不到一个小时的功夫，王队回来了。
“没用，还是死鸭子嘴硬。”王队一屁股坐在椅子上，看了一眼时间，已经快到十二点了。“那份数据看的怎么样了，有没有找到什么线索？”
“这是一个很大的组织，总成员数有好几百，我们现在可能只抓到了冰山一角啊。”
“你说的没错，但正因如此，我们现在必须抓紧时间。”王队走到我的工位前，“我们现在的任务是先找到他们的上线，擒贼先擒王。但今晚抓到的这群人都审不出东西来，虽然能确定他们的身份，暂时也还是确定不了他们之间的关系啊。”
“你说他们之间的关系？”我突然想起前段时间看到的networkx这个python库，这次说不定能派上用场。“交给我了，给我五分钟时间。”
首先用pandas导入文件中的数据，并筛选出我们需要的部分：
df = pd.read_excel('./doc/1_evidence.xls')df = df.loc[:, ['id','name','invite_id','invited_id']]
df.columns = ['id','title','to', 'from']
然后调用networkx库，生成层级关系图并导出：
G = nx.from_pandas_edgelist(df, 'from', 'to', create_using=nx.DiGraph())nt = net.Network('960px', '1280px', directed=True)
nt.from_nx(G)
nt.show('1_evidence.html')
这样我就得到了这份文件对应的层级关系图，上下线关系瞬间一目了然了：
一瞬间王队面露喜色，但立马又恢复了严肃：“你这个是不是有点华而不实啊，虽然看着挺直观，但你能从里面找到谁是这个组织的最上级吗？”
这当然难不倒我，最上级也就是图中网络的根节点，必然是没有其他的点指向它的，所以我们只要遍历所有节点，找到入度为0的点就可以了。
# 找到根节点top_node = []
for node, degrees in G.in_degree():
if degrees == 0:
top_node.append(node)
print('Big Boss:', top_node)
“Big Boss: [100000]” 屏幕上出现了这样的输出。“100000这个编号在表中没有对应的人，但100000下只有一个编号162385的下线，他应该就是这个组织的头头了。”
“不错，要的就是这个！我去让其他同事找这个人的信息，你继续研究数据，把和这个人走的近的人全部找出来！”
这想必也不是难题，既然根节点已经找到了，我们便可以得到所有节点各自所在的层数。
# 设置所有节点级别l = nx.shortest_path_length(G, 100000)
nx.set_node_attributes(G, l, 'level')
# 计算每级人员数目
data = {}
for node, level in l.items():
if level in data.keys():
data[level].append(node)
else:
data[level] = [node]
for level, nodes in data.items():
print(level, len(nodes))
这个组织竟然已经足足发展了36层，想想真是让人直冒冷汗，还好我的同事及时发现了。
然后根据层级给节点标注颜色，方便观察：
# 添加颜色for node in G.nodes:
G.nodes[node]['title'] = str(node)
level = G.nodes[node]['level']
if level == 0:
G.nodes[node]['color'] = 'red'
elif level == 1:
G.nodes[node]['color'] = 'orange'
elif level == 2:
G.nodes[node]['color'] = 'yellow'
可以看到这个编号162385的人，自己只有两个下线，而这两个下线每人都各自另外发展了几十个下线，想想还蛮有意思。
“找到了！”王队撞开办公室的门，“那个人找到了，就在今晚逮捕的这群人里面，还有两个他的下线也在里面。他们也都承认了，现在正在重点审。”看来实际情况和我的推测完全相符，多亏了这份名单。
“你今晚立了件大功啊！”王队走过来拍了拍我的肩膀。“不过现在还没完，根据他们的口供，文件里的就是他们组织的全部人员信息了。你现在把他们发展下线最多的几个人给我找出来，我们根据信息，立刻安排定点抓捕行动。”
跟前面的差不多，不过这次我需要遍历所有节点的出度数，然后按倒序排序，取前几项就可以了。
# 给下线前十的目标添加颜色degrees = G.out_degree()
top_nodes = sorted(degrees, key=lambda x: x[1], reverse=True)[:10]
print(top_nodes)
for node in top_nodes:
G.nodes[node[0]]['color'] = 'green'
然后给目标节点加上颜色，方便观察，最终得到了这样的关系图：
“干得不错，只要再把这几个人抓到，就相当于切断了这个组织的大动脉，后面的慢慢收尾就可以了。”王队把文件合上，笑着对我说。“没想到你还有这本事，真是后生可畏啊！”
“今天抓到的那三条大鱼，现在审出什么结果了？”相对于其他，我还是对案情本身更感兴趣。
“别提了，都快笑死我了。这仨人看见证据直接慌了神，开始互相推卸责任，老大说同伙全是另外两个人拉来的他都没参与，另外俩人说骗局全是老大策划的他们就是手下打工的，现在估计还吵着呢...”
Python是一门通用性非常强的编程语言，它的强大功能并不仅仅局限于数据分析与机器学习领域。今天，我想分享一段代码经历：通过学习Python库“网络爬虫”，我成功端掉了一个传销团伙。
第一步：了解Python库网络爬虫的用途
网络爬虫是一种自动访问网站并获取数据的程序，它可以快速获取大量数据。通过Python库爬虫，我可以自由地浏览网络，并掌握传销团伙的信息。
第二步：学习Python库网络爬虫的基本方法
学习Python库爬虫的方法并不复杂，只需要定义一个网页URL并调用Python中的方法来实现网页的抓取。我的经历告诉我，在学习Python库网络爬虫的时候，需要有足够的兴趣和热情，并花费足够多的时间和精力。
第三步：通过Python库网络爬虫快速获取信息
在使用Python库网络爬虫获取信息时，我们可以调用Python中的方法快速获取目标网站上所有相关信息并进行分析，识别传销信息的几率得以大大提高。
第四步：加入传销组织并获取信息
为了更好地获取信息和掌握传销组织的内部运作情况，我决定加入其中。通过了解各地传销团伙的组织架构和运作规律，我向组织内部推广内容，并数次获得领导信任，帮助其它小组发展。
第五步：收集信息并大规模曝光
通过网络爬虫获取到有关传销团伙的重要信息和证据后，我和警局联系，提供了足够的信息解释有关传销团伙的运作模式，配合警方大规模摧毁传销团伙，并抓获犯罪分子。
第六步：对政府之所以能够有效打击传销团伙的思考
现在，政府之所以能够有效打击传销团伙，是因为警方通过大规模收集相互联系的人群的数据，将传销团伙的职务、控制、经济、犯罪、等信息进行深入分析，以便于判断目标人员的下一步动向和调查方向，同时，政府对于媒体的掌控也起到了不可替代的作用。
第七步：结论
通过Python库网络爬虫的学习和使用，我成功地掌握了传销信息的获取和分析方法，并成功地帮助警方摧毁了一个传销团伙，这个经历也解决了我对于如何更好地作为一个计算机爱好者，在社会中发挥自己所学的疑惑。
