博客
关于我
Selenium实现微博爬虫
阅读量:182 次
发布时间:2019-02-28

本文共 302 字,大约阅读时间需要 1 分钟。

抓取节点:将每条评论作为一个节点(包含用户信息、评论内容及发布时间等信息)。若一页有20条评论,则节点数量即为20。

节点获取:通过CSS选择器div.card > div.card-feed > div.content找到所有符合条件的节点。

节点处理:逐个遍历节点列表,判断每个节点是否包含“展开全文”链接。操作步骤如下:

  • 检查节点中是否存在p > a[action-type='fl_unfold']元素
  • 判断该链接的显示状态
  • 如果满足条件,且链接文本以“展开全文c”开头:

    • 点击该链接,获取指定位置的评论内容
    • 否则,直接获取评论文本
    • 同时,提取用户信息

    注:该操作需确保唯一性,避免误选其他元素。

    转载地址:http://tdfn.baihongyu.com/

    你可能感兴趣的文章
    Open vSwitch实验常用命令
    查看>>
    Open WebUI 忘了登入密码怎么办?
    查看>>
    open-vm-tools-dkms : 依赖: open-vm-tools (>= 2:9.4.0-1280544-5ubuntu3) 但是它将不会被安装
    查看>>
    open3d-Dll缺失,未找到指定模块解决
    查看>>
    Openbox-桌面图标设置
    查看>>
    opencart出现no such file or dictionary
    查看>>
    opencv Mat push_back
    查看>>
    opencv SVM分类Demo
    查看>>
    opencv videocapture读取视频cap.isOpened 输出总是false
    查看>>
    opencv waitKey() 函数理解及应用
    查看>>
    OpenCV 中的图像转换
    查看>>
    OpenCV 在 Linux 上的 python 与 anaconda 无法正常工作.收到未实现 cv2.imshow() 的错误
    查看>>
    Opencv 完美配置攻略 2014 (Win8.1 + Opencv 2.4.8 + VS 2013)上
    查看>>
    opencv 模板匹配, 已解决模板过大程序不工作的bug
    查看>>
    OpenCV 错误:(-215)size.width>0 &&函数imshow中的size.height>0
    查看>>
    opencv&Python——多种边缘检测
    查看>>
    opencv&python——高通滤波器和低通滤波器
    查看>>
    OpenCV-Python接口、cv和cv2的性能比较
    查看>>
    opencv1-加载、修改、保存图像
    查看>>
    opencv10-形态学操作
    查看>>