我们在抓取网页时，经常会遇到这样的问题，比如说要抓取的网页的信息是分页显示的，但是点击下一页时网址不变，这种情况下我们该怎么进行循环抓取呢？其实造成这种现象的原因有很多种，今天我们来介绍其中的一种。

在正式开始前，我们先来介绍一下最常用的两种http请求方式，分别是get和post，它们之间的区别在于：GET请求的数据会附在URL之后（就是把数据放置在HTTP协议头中），并且以?分割URL和传输数据，参数之间以&相连。GET方法使用的时候，浏览器中会产生目标URL，而POST不会。

我们以和讯网中全部港股的网页为例（ http://quote.hexun.com/default.htm#hkstock），该网页中无论点击哪一页，它的网址都是相同的。同时还注意到，在网页中点击右键查看网页源代码时，无法找到目标信息，比如网页中名为GRANDE HOLDINGS的港股的代码为00186，但是在网页源代码中无法查找到关于00186的信息。如图：

再来尝试一下用copy来抓取网页源代码，在Stata中输入如下命令：

clear

cap mkdir E:/爬虫

cd E:/爬虫

copy “http://quote.hexun.com/default.htm#hkstock” temp.txt,replace

结果Stata显示server refused send file，即服务器拒绝发送文件，这是因为和讯网做了反爬设置，它将网页的真实链接隐藏了起来。

我们现在需要做的就是找到网页的真实链接，那么如何实现这个操作呢？我们可以借助浏览器，这里推荐使用谷歌浏览器。

刚打开时，下部分区域即network的工具列表可能显示为空白，按F5键更新，这样工具列表中就会出现许多与网页相关的链接，如下图所示：

面对工具列表中如此多的信息，我们应该如何进行选择呢？

如红色方框标记所示，该网页的请求方式为Get，同时注意到URL地址为：http://hkquote.stock.hexun.com/hqzx/restHKStockQuote_new.ashx?type=100&sorttype=3&updown=up&page=1&count=50&input=2&time=171700，将其粘贴复制到浏览器中打开，打开后显示的即为我们需要的信息，如图：

而这个URL地址的格式符合我们抓取多个网页的要求，因为它的网址中出现了可以识别不同页数的参数page。

我们通过以上步骤分析得到了我们需要的目标信息的真实链接，下面需要做的就是在Stata中利用copy命令抓取网页源代码，输入如下命令：

clear

cap mkdir E:/爬虫

cd E:/爬虫

copy "http://hkquote.stock.hexun.com/hqzx/restHKStockQuote_new.ashx?type=100&sorttype=0&updown=down&page=1&count=50&input=2&time=171700"  temp1.txt,replace

shellout temp1.txt

得到如图所示的源代码:

需要注意的是，这里我们对网页的真实链接中的参数sorttype和updown进行了修改，将sorttype=3改为了sorttype =0，sorttype=3 是指按照涨跌幅进行排序，由于涨跌幅是时刻变化的，这会导致我们抓取到的网页有重复信息，而sorttype =0则是按照港股代码排序，代码是固定不变的不会实时更新。将updown=up改为了updown =down，后者是指将港股按照代码从小到大进行排序。参数page =1表示抓取的是网页的第一页，count=50表示网页中展示了50条港股信息，input =2表示按照绿涨红跌进行颜色标识，time表示访问网页的时间。

这样一来，和讯网港股中按照股票代码进行排序的网页源代码就保存在自己电脑中了，如果需要对多个网页进行抓取，只需再对网址的page做一个循环即可。

注：此推文中的图片及封面（除操作部分的）均来源于网络！如有雷同纯属巧合！