selenium获取网页中的元素
在selenium中如果正常地从response中获取动态网页元素,会获取成空字符,下边有两种方法一种是直接从无痕浏览器上筛选,然后获取固定的内容,参考https://www.cnblogs.com/xiao-xue-di/p/11531894.html但是缺点也很明显,那就是不够灵活,python自用的xpath查询会更灵活。另一种方法获取页面源码,直接用lxml对源码进行解码:Python S
·
在selenium中如果正常地从response中获取动态网页元素,会获取成空字符,下边有两种方法一种是直接从无痕浏览器上筛选,然后获取固定的内容,参考https://www.cnblogs.com/xiao-xue-di/p/11531894.html
但是缺点也很明显,那就是不够灵活,python自用的xpath查询会更灵活。
另一种方法获取页面源码,直接用lxml对源码进行解码:Python Selenium 获取页面所有文本内容_旷野历程-CSDN博客_selenium获取页面内容
自制的代码是:
import lxml
from lxml import etree
class GeturlSpider(scrapy.Spider):
def parse(self, response):
time.sleep(3)
driver = self.driver
driver.get("固定网址")
time.sleep(3)
driver.save_screenshot('1-1.jpg')
html_source = driver.page_source
html = lxml.html.fromstring(html_source)

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。
更多推荐
所有评论(0)