缘由    我们有一个产品牵扯到核查数据，在核查数据过程中会发现有一些违规网站，这一些违规网站我们要进行截图保留证据。如果是人工截图就非常麻烦，需要截图之后上传到系统，增加了大家的工作量，我们就想着试着程序自动化截图解决方案    由于我们爬虫都使用的python selenium 调用的chrome无头浏览器，所以我们依然选择了selenium调用chrome进行截图。截图核心代码如下，非常简单###核心代码如下 driver.get( url ) #初始化一个屏幕大小 driver.set_window_size(1400, 900) ##通过脚本获取页面宽和高，设置窗口大小 width = driver.execute_script("return document.documentElement.scrollWidth"

　　缘由        目前由于工作需要，我们需要爬虫（本人严重申明：商业爬虫属于违规行为，请各位技术同事不要有意无意的做违规的事情）获取网页一些东西，但是大家都知道目前有很多网站都是用前后端分离的，使用curl请求是没办法获取到页面信息的，所以我们就基于目前我们相对擅长的技术点选择了 “Selenium”。刚好自己又会一点Python。所以这样我们的技术方案就可以执行下去了。Selenium介绍       Selenium 是支持 web 浏览器自动化的一系列工具和库的综合项目。从我个人浅显的理解：提供了扩展来模拟用户与浏览器的交互。有如下特点支持主流的大部分浏览器：ie、ff、safari、opera、chrome支持多平台：windows、linux、MAC 支持主流语言的操作库：Python、Java、C#、Ruby、Jav

　　大公司一般都会做自动化覆盖测试，会用到不需要节目的浏览器环境，下面有一些开源工具有时间尝试下软件名介绍支持语言Awesomium基于Chromium无图形界面浏览器引擎。C++, .NETbenvBenv是node.js开发的无界面浏览器测试环境，用于测试客户端代码。JavaScriptbrowser-launcherBrowser-Launcher可以检测系统上的所有浏览器版本，并在一个独立的配置文件中启动它们，用于自动测试。JavaScriptbrowser.rb无界面 Ruby 浏览器。RubyBrowserjet无界面webkit浏览器，采用node.js接口。JavaScriptBrowserKit可模拟浏览器的行为。PHPCasperJSCasperJS 是一个开源的导航脚本和测试工具，使用 JavaScript 基于 PhantomJS 编写，用于测试 Web 应用功能，Phantom JS是一个服务器端的 JavaScript API 的 WebKit