Selenium实现微博爬虫-白红宇

Selenium实现微博爬虫

阅读量：182 次

发布时间：2019-02-28

本文共 302 字，大约阅读时间需要 1 分钟。

抓取节点：将每条评论作为一个节点（包含用户信息、评论内容及发布时间等信息）。若一页有20条评论，则节点数量即为20。

节点获取：通过CSS选择器div.card > div.card-feed > div.content找到所有符合条件的节点。

节点处理：逐个遍历节点列表，判断每个节点是否包含“展开全文”链接。操作步骤如下：

检查节点中是否存在p > a[action-type='fl_unfold']元素

判断该链接的显示状态

如果满足条件，且链接文本以“展开全文c”开头：

点击该链接，获取指定位置的评论内容

否则，直接获取评论文本

同时，提取用户信息

注：该操作需确保唯一性，避免误选其他元素。

转载地址：http://tdfn.baihongyu.com/

你可能感兴趣的文章

Openlayers实战：绘制带箭头的线

Openlayers实战：输入WKT数据，输出GML、Polyline、GeoJSON格式数据

Openlayers高级交互（10/20）：绘制矩形,截取对应部分的地图并保存

Openlayers高级交互（11/20）：显示带箭头的线段轨迹，箭头居中

Openlayers高级交互（14/20）：汽车移动轨迹动画（开始、暂停、结束）

Openlayers高级交互（15/20）：显示海量多边形，10ms加载完成

Openlayers高级交互（16/20）：两个多边形的交集、差集、并集处理

Openlayers高级交互（17/20）：通过坐标显示多边形，计算出最大幅宽

Openlayers高级交互（19/20）：地图上点击某处，列表中显示对应位置

Openlayers高级交互（2/20）：清除所有图层的有效方法

Openlayers高级交互（20/20）：超级数据聚合，页面不再混乱

Openlayers高级交互（3/20）：动态添加 layer 到 layerGroup，并动态删除

Openlayers高级交互（4/20）：手绘多边形，导出KML文件，可以自定义name和style

Openlayers高级交互（6/20）：绘制某点，判断它是否在一个电子围栏内

Openlayers高级交互（7/20）：点击某点弹出窗口，自动播放视频

Openlayers高级交互（8/20）：选取feature，平移feature

Openlayers：DMS-DD坐标形式互相转换

openlayers：圆孔相机根据卫星经度、纬度、高度、半径比例推算绘制地面的拍摄的区域

OpenLDAP(2.4.3x)服务器搭建及配置说明

OpenLDAP编译安装及配置