Selenium实现微博爬虫-白红宇

Selenium实现微博爬虫

阅读量：182 次

发布时间：2019-02-28

本文共 302 字，大约阅读时间需要 1 分钟。

抓取节点：将每条评论作为一个节点（包含用户信息、评论内容及发布时间等信息）。若一页有20条评论，则节点数量即为20。

节点获取：通过CSS选择器div.card > div.card-feed > div.content找到所有符合条件的节点。

节点处理：逐个遍历节点列表，判断每个节点是否包含“展开全文”链接。操作步骤如下：

检查节点中是否存在p > a[action-type='fl_unfold']元素

判断该链接的显示状态

如果满足条件，且链接文本以“展开全文c”开头：

点击该链接，获取指定位置的评论内容

否则，直接获取评论文本

同时，提取用户信息

注：该操作需确保唯一性，避免误选其他元素。

转载地址：http://tdfn.baihongyu.com/

你可能感兴趣的文章

NPM 2FA双重认证的设置方法

npm ERR! ERESOLVE could not resolve报错

npm error Missing script: “server“npm errornpm error Did you mean this?npm error npm run serve

npm error MSB3428: 未能加载 Visual C++ 组件“VCBuild.exe”。要解决此问题,1) 安装

npm install digital envelope routines::unsupported解决方法

npm install 卡着不动的解决方法

npm install 报错 EEXIST File exists 的解决方法

npm install 报错 ERR_SOCKET_TIMEOUT 的解决方法

npm install 报错 fatal: unable to connect to github.com 的解决方法

npm install 报错 no such file or directory 的解决方法

npm install 权限问题

npm install报错，证书验证失败unable to get local issuer certificate

npm install无法生成node_modules的解决方法

npm install的--save和--save-dev使用说明

npm node pm2相关问题

npm run build 失败Compiler server unexpectedly exited with code: null and signal: SIGBUS

npm run build报Cannot find module错误的解决方法

npm run build部署到云服务器中的Nginx（图文配置）

npm run dev 报错PS ‘vite‘ 不是内部或外部命令，也不是可运行的程序或批处理文件。

npm scripts 使用指南