发布日期：2024-09-26 20:24    点击次数：149

这是 Java 会聚爬虫系列博文的第二篇情欲湿度，在上一篇 Java 会聚爬虫外行初学详解 中，咱们简便的学习了一下若何利用 Java 进行会聚爬虫。在这一篇中咱们将简便的聊一聊在会聚爬虫时，遭受需要登录的网站，咱们该奈何办？

在作念爬虫时，遭受需要登陆的问题也相比常见，比如写剧本抢票之类的，凡是需要个东说念主信息的齐需要登陆，对于这类问题主要有两种科罚模式：一种模式是手动修复 cookie ，等于先在网站上头登录，复制登陆后的 cookies ，在爬虫要津中手动修复 HTTP 央求中的 Cookie 属性，这种模式适用于会聚频次不高、会聚周期短，因为 cookie 会失效，若是恒久会聚的话就需要频频修复 cookie，这不是一种可行的目标，第二种模式等于使用要津模拟登陆，通过模拟登陆赢得到 cookies，这种模式适用于恒久会聚该网站，因为每次会聚齐会先登陆，这么就不需要挂牵 cookie 落伍的问题。

为了能让大家更好的清爽这两种模式的愚弄，我以赢得豆瓣个东说念主主页昵称为例，分歧用这两种模式来赢得需要登陆后智商看到的信息。赢得信息如下图所示：

赢得图片中的缺心眼那叫单纯，这个信息彰着是需要登陆后智商看到的，这就合适咱们的主题啦。接下来分歧用上头两种目标来科罚这个问题。

手动修复 cookie

手动修复 cookie 的模式，这种模式相比简便，咱们只需要在豆瓣网上登陆，登陆奏凯后就不错赢得到带有用户信息的cookie，豆瓣网登录连气儿：https://accounts.douban.com/passport/login。如下图所示：

图中的这个 cookie 就佩戴了用户信息，咱们只需要在央求时佩戴这个 cookie 就不错稽查到需要登陆后智商稽查到的信息。咱们用 Jsoup 来模拟一下手动修复 cookie 模式，具体代码如下：

从代码中不错看出跟不需要登陆的网站没什么区别，仅仅多了一个.header("Cookie"， "your cookies") ，咱们把浏览器中的 cookie 复制到这里即可，编写 main 步调

起头 main 得到效果如下：

不错看出咱们奏凯赢得到了缺心眼那叫单纯，这评释咱们修复的 cookie 是灵验的，奏凯的拿到了需要登陆的数据。这种模式是真是相比简便，惟一的不及等于需要频频的更换 cookie，因为 cookie 会失效，这让你使用起来就不是很爽啦。

模拟登陆模式

模拟登陆的模式不错科罚手动修复 cookie 模式的不及之处，但同期也引入了相比复杂的问题，当今的考证码形刻画色、丰富多采，好多齐富饶挑战性，比如在一堆图片中操作某类图片，这个还短长常有难度，不是断然就概况编写出来。是以对于使用哪种模式这个就需要开导者我方去计划猛烈啦。今天咱们用到的豆瓣网，在登陆的时期就莫得考证码，对于这种莫得考证码的如故相比简便的，对于模拟登陆模式最伏击的等于找到实在的登陆央求、登陆需要的参数。 这个咱们就只可取巧了，咱们先在登陆界面输入失误的账号密码，学生妹av这么页面将不会跳转，是以咱们就概况安若泰山的找到登陆央求。我来演示一下豆瓣网登陆查找登陆连气儿，咱们在登陆界面输入失误的用户名和密码，点击登陆后，在 network 稽查发起的央求连气儿，如下图所示：

从 network 中咱们不错稽查到豆瓣网的登陆连气儿为https://accounts.douban.com/j/mobile/login/basic，需要的参数有五个，具体参数稽查图中的 Form Data，有了这些之后，咱们就概况构造央求模拟登陆啦。登陆后进行后续操作，接下来咱们就用 Jsoup 来模拟登陆到赢得豆瓣主页昵称，具体代码如下：

这段代码分两段，前一段是模拟登陆，后一段是证据豆瓣主页，在这段代码中发起了两次央求，第一次央求是模拟登陆赢得到 cookie，第二次央求时佩戴第一次模拟登陆后赢得的cookie，这么也不错拜访需要登陆的页面，修改 main 步调

乱伦图片

起头 main 步调，得到如下效果：

模拟登陆的模式也奏凯的赢得到了网名缺心眼那叫单纯，固然这也曾是最简便的模拟登陆啦，从代码量上就不错看出它比修复 cookie 要复杂好多，对于其他有考证码的登陆，我就不在这里先容了，第一是我在这方面也没什么教学，第二是这个罢了起来相比复杂，会波及到一些算法和一些扶植器用的使用，有利思的一又友不错参考崔庆才敦朴的博客商量商量。模拟登陆写起来固然相比复杂，然而惟有你编写好之后，你就概况暂劳永逸，若是你需要恒久会聚需要登陆的信息，这个如故值得你的作念的。

除了使用 jsoup 模拟登陆外，咱们还不错使用 httpclient 模拟登陆，httpclient 模拟登陆莫得 Jsoup 那么复杂，因为 httpclient 概况像浏览器相似保存 session 会话，这么登陆之后就保存下了 cookie ，在吞并个 httpclient 内央求就会带上 cookie 啦。httpclient 模拟登陆代码如下：

起头这段代码，复返的效果亦然 true。

关连 Java 爬虫遭受登陆问题就聊得差未几啦，来往顾一下：对于爬虫遭受登陆问题有两种科罚目标，一种是手动修复cookie，这种模式适用于少顷性会聚或者一次性会聚，本钱较低。另一种模式是模拟登陆的模式，这种模式适用于恒久会聚的网站，因为模拟登陆的代价如故蛮高的，相配是一些变态的考证码，平正等于概况让你暂劳永逸

源代码：源代码

以上等于本文的一起实质情欲湿度，但愿对大家的学习有所匡助，也但愿大无边多复古剧本之家。

您可能感意思的著述: Java爬取豆瓣电影数据的步调详解 Java爬取网站源代码和连气儿代码实例 java通过Jsoup爬取网页经过详解 Java罢了爬取百度图片的步调分析 Java爬虫罢了爬取京东上的手机搜索页面 HttpCliient+Jsoup java罢了爬取知乎用户基本信息 java爬取豆瓣电影示例证据

---