代码编织梦想

1. 背景

  • 在使用selenium浏览器渲染技术,爬取网站信息时,默认情况下就是一个普通的纯净的chrome浏览器,而我们平时在使用浏览器时,经常就添加一些插件,扩展,代理之类的应用。相对应的,当我们用chrome浏览器爬取网站时,可能需要对这个chrome做一些特殊的配置,以满足爬虫的行为。
  • 常用的行为有:
  • 禁止图片和视频的加载:提升网页加载速度。
  • 添加代理:用于访问某些页面,或者应对IP访问频率限制的反爬技术。
  • 使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。
  • 添加扩展:像正常使用浏览器一样的功能。
  • 设置编码:应对中文站,防止乱码。
  • 阻止JavaScript执行。

2. chromeOptions

  • chromeOptions 是一个配置 chrome 启动是属性的类。通过这个类,我们可以为chrome配置如下参数(这个部分可以通过selenium源码看到):

  • 设置 chrome 二进制文件位置 (binary_location)

  • 添加启动参数 (add_argument)

  • 添加扩展应用 (add_extension, add_encoded_extension)

  • 添加实验性质的设置参数 (add_experimental_option)

  • 设置调试器地址 (debugger_address)

一、常用参数

options.add_argument('--headless')                     # 开启无界面模式
options.add_argument("--disable-gpu")                  # 禁用gpu
options.add_argument('--user-agent=Mozilla/5.0 HAHA')  # 配置对象添加替换User-Agent的命令
options.add_argument('--window-size=1366,768')         # 设置浏览器分辨率(窗口大小)
options.add_argument('--start-maximized')              # 最大化运行(全屏窗口),不设置,取元素会报错
options.add_argument('--disable-infobars')             # 禁用浏览器正在被自动化程序控制的提示
options.add_argument('--incognito')                    # 隐身模式(无痕模式)
options.add_argument('--disable-javascript')           # 禁用javascript
options.add_argument(f"--proxy-server=http://115.239.102.149:4214")  # 使用代理
options.add_argument('blink-settings=imagesEnabled=false')  # 不加载图片, 提升速度

二、使用方法

from selenium import webdriver
from selenium.webdriver.chrome.options import Options  

options = webdriver.ChromeOptions()

options.add_argument('--headless')                     # 开启无界面模式
options.add_argument("--disable-gpu")                  # 禁用gpu
options.add_argument('--user-agent=Mozilla/5.0 HAHA')  # 配置对象添加替换User-Agent的命令
options.add_argument('--window-size=1366,768')         # 设置浏览器分辨率(窗口大小)
options.add_argument('--start-maximized')              # 最大化运行(全屏窗口),不设置,取元素会报错
options.add_argument('--disable-infobars')             # 禁用浏览器正在被自动化程序控制的提示
options.add_argument('--incognito')                    # 隐身模式(无痕模式)
options.add_argument('--disable-javascript')           # 禁用javascript
options.add_argument(f"--proxy-server=http://115.239.102.149:4214")  # 使用代理
options.add_argument('blink-settings=imagesEnabled=false')  # 不加载图片, 提升速度

chrome_obj = webdriver.Chrome(options=options)  


chrome_obj.get('https://www.baidu.com/')   # 执行 > 效果 > 发送请求,访问相关的页面
str_data = chrome_obj.page_source   # 执行 > 效果 > 获取当前页面的源代码

# 截取更多(窗口最大化)
# chrome_obj.maximize_window()

# 网页截屏  无界面模式下 无用
# chrome_obj.save_screenshot('baidu.png')

# 关闭浏览器
time.sleep(2)
chrome_obj.quit()

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_45694843/article/details/127157984

selenium启动chrome时配置选项_廖剑秋的博客-爱代码爱编程_chrome selenium

Selenium操作浏览器是不加载任何配置的,网上找了半天,关于Firefox加载配置的多点,Chrome资料很少,下面是关于加载Chrome配置的方法:    一、加载所有Chrome配置   用Chrome地址栏输入chrome://version/,查看自己的“个人资料路径”,然后在浏览器启动时,调用这个配置文件,代码如下

selenium chrome启动项详解_python大神的博客-爱代码爱编程

chrome页面启动包括两个方面,一个是broswer.get()方法,这个是打开另一个浏览器窗口的方法,另一个就是browser.execute_script(js)方法了,这个是在同一个浏览器打开一个标签,这样的话自动的使用一些内存数据了比较方便,但是我面临了一个问题就是,browser.execute_script(js)这个方法不能打开chrome

selenium启动项常用参数设置_生有涯,知无涯的博客-爱代码爱编程_selenium 参数

1.常用参数: # options.add_argument('--headless') # 开启无界面模式 # options.add_argument("--disable-gp

selenium启动参数设置-爱代码爱编程

Selenium启动参数设置 以无痕模式打开浏览器为例子,使用方法如下: ChromeOptions options = new ChromeOptions(); options.addArguments("--incognito"); 常用的启动参数参照这个: 启动参数作用--user-agent=""设置请求头的User-Agent--wind

python中options设置_python+selenium+Chrome options参数-爱代码爱编程

Chrome Options常用的行为一般有以下几种: 禁止图片和视频的加载:提升网页加载速度。 添加代理:用于翻墙访问某些页面,或者应对IP访问频率限制的反爬技术。 使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。 添加扩展:像正常使用浏览器一样的功能。 设置编码:应对中文站,防止乱码。 阻止JavaScript执行 ..

pythonselenium设置_Python Selenium参数配置方法解析-爱代码爱编程

这篇文章主要介绍了Python Selenium参数配置方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 selenium.获取浏览器大小、设置浏览器位置、最大化浏览器 get_window_size()     获取浏览器大小 # 将窗口大小实例化 size_Dict = driver

selenium爬虫之启动项-爱代码爱编程

1.selenium启动项常用参数 常用参数链接: List of Chromium Command Line Switches « Peter Beverloo from selenium import webdriver # 创建启动项配置对象 options = webdriver.ChromeOptions()

7. selenium Options类-爱代码爱编程

在使用selenium浏览器渲染技术 禁止图片和视频的加载:提升网页加载速度。 添加代理:用于翻墙访问某些页面,或者应对IP访问频率限制的反爬技术。 使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。 添加扩展:像正常使用浏览器一样的功能。 设置编码:应对中文站,防止乱码。 阻止JavaScript执行。 Chrome Options是一个配

Selenium启动项参数设置-爱代码爱编程

Chrome Webdriver Options 简介 这是一个Chrome的参数对象,再此对象中使用add_argument()方法可以添加启动参数, 添加完毕后可以在初始化Wedriver对象时将此Options对象传入 比如说以下例子 from selenium import webdriver from selenium.webdriver

[转]selenium启动项常用参数设置-爱代码爱编程

1.常用参数: # options.add_argument('--headless') # 开启无界面模式 # options.add_argument("--disable-gpu") # 禁用gpu # options.add_argument('--user-agent=M

selenium webdriver操作chrome options、 启用无痕模式、缓存烦恼-爱代码爱编程

当启用浏览器打开网页的时候,可以直接启用无痕模式,省去清理缓存这一步骤。 初始化ChromeOptions 并设置"–incognito" ChromeOptions options = new ChromeOptions(); options.AddArgument("–incognito");//启动无痕/隐私模式 再启动浏览器即为无痕模式,之后再进行

selenium常用控件实战_三寸季年不忘卿的博客-爱代码爱编程

处理下拉列表 《Python实现Web UI自动化测试实战:Selenium 3/4+unittest/pytest+gitlab+jenkins》读书笔记 导包:from selenium.webdriver.support.ui import Selectfrom selenium.webdriver.support.select import

chrome 启动参数_sarah-梅的博客-爱代码爱编程

常用参数 常用参数请参考下表。 序号参数说明1--allow-outdated-plugins不停用过期的插件。2--allow-running-insecure-content默认情况下,https 页面不允许从 http 链接引用 javascript/css/plug-ins。添加这一参数会放行这些内容。3--allow-scriptin

一分钟学会selenium_小何写博客的博客-爱代码爱编程

目录 一、Selenium简介 二、Selenium组成 三、Selenium特点 四、案例演示 1、下载驱动包  2、创建项目并导入依赖 3、入门 一、Selenium简介 Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中,就像真正的用户在 操作一样。支持的浏览器包括IE(7

java中使用selenium设置chrome启动参数和配置-爱代码爱编程

1.给ChromeDriver配置禁止加载js,images ChromeOptions options = new ChromeOptions(); // 设置禁止加载项 Map<String, Object> prefs = new HashMap<String, Object>(); // 禁止加载js prefs.put(

封装selenium的常用方法(python)_selenium封装-爱代码爱编程

本章内容为大家分享使用selenium时一些好用但官方未明确制定的接口方法 功能列表: 启动chrome时的参数对页面元素的增删改查灵活切换标签页 import time from selenium import webdriver from selenium.webdriver.common.by import By from selenium.w