知己知彼才能百战百胜，首先我们分析下American Economic Review的网页https://www.aeaweb.org/journals/aer/issues

发现网页上有期刊号和时间，点开期刊号和时间的链接July 2017 (Vol. 107, No.7 )，结果如下：

发现这个网页上有我们想要的，就是没有期刊和时间，我们继续点击Incomplete Contracts and Control 链接，结果如下：

发现这个网页上有文章标题，作者，期刊号，时间，我们想要的都有，太酷了！那接下来就开始我们的爬虫黑科技吧。

首先我们的思路是先爬每个期刊号和时间的链接，然后通过每个期刊号和时间的链接，加入循环，爬取每篇文章的链接，最后通过每篇文章的链接，加入循环，爬取我们所需要的每篇文章的题目，作者，期刊号，时间，最后绘成最终目录。

在爬虫里面最重要的是什么，没错，就是源代码。首先开启我们神奇的第一步，我们进入https://www.aeaweb.org/journals/aer/issues网页，查看每个期刊号和时间的源代码：

发现我们所要的行都有字符串“<a href='/issues/”。我们可以使用往期推文里“删繁就简三秋叶，subinfile似剪刀”中的subinfile命令，把字符串“<a href='”和“</a>”都删了，再用split命令按照字符串“'>”把数据分为“link”和“时间”两个部分。操作如下：

clear

cap mkdir d:/美国经济评论

cd d:/美国经济评论

copy "https://www.aeaweb.org/journals/aer/issues" d:/美国经济评论/temp.txt

subinfile temp.txt, index("<a href='/issues/")///

from("(<a href=')|(</a>)") fromregex dropempty replace

infix strL v 1-20000 using temp.txt, clear

split v,parse('>)

rename (v1 v2) (link 时间)

drop v

接 着我们开始奇幻的第二步，我们以https://www.aeaweb.org/issues/472为例，先爬取一个期刊号和时间对应的每篇文章链接， 然后加上循环获取所有期刊号和时间所对应的文章链接。我们看下https://www.aeaweb.org/issues/472的源代码：

发现我们所要的行都有字符串“<a href="/articles”。我们可以使用往期推文里“删繁就简三秋叶，subinfile似剪刀”中的subinfile命令，把字符串“<a href='”和“</a>”都删了，再用split命令按照字符串“">”把数据分为v1和v2两个部分，保留每篇文章的链接sublink。操作如下：

copy "https://www.aeaweb.org/issues/472" d:/美国经济评论/sublink.txt,replace

subinfile sublink.txt, index(`"<a href="/articles"')///

from(`"(<a href=")|(</a>)"') fromregex dropempty replace

infix strL v 1-20000 using sublink.txt, clear

split v,parse(`"">"')

drop v v2

rename v1 sublink

最重要的一步来了，我们根据每篇文章的链接抓取我们需要的期刊号，时间，作者，文章标题。

笔 者以https://www.aeaweb.org/articles?id=10.1257/aer.20121437上一篇文章为例，抓取这些这篇文 章的所有信息，然后放入循环，抓取所有文章的信息。我们先分析https://www.aeaweb.org/articles?id=10.1257 /aer.20121437的源代码。

我们发现有多个作者，于是我们想法是匹配到字符串“<div style='margin-top:25px;'>”开始，往上一行加，并删除这一行，直到不匹配到字符串`“<ul class="attribution">”' 为止，这样我们就把所有的作者放到一行里了，然后我们写入循环，接着我们用正则表达式以字符串“<h1>”，“<div style='margin-top:25px;'>”，“<li>vol”分别抓取题目，作者，期刊号和时间。我们可以使用往期推文 里的“数据的转置—xpose&sxpose”中的sxpose对字符串进行装置，并用正则表达式分别提取期刊号和年月，重新命名一下，得到我们所需要的数据。

copy "https://www.aeaweb.org/articles?id=10.1257/aer.20121437" d:/美国经济评论/paper.txt,replace

infix strL v 1-200000 using paper.txt, clear

forvalues i =`=_N' (-1) 1{

if index(v[`i'],"<div style='margin-top:25px;'>") & !index(v[`i'],`"<ul class="attribution">"')  {

replace v = v+ v[`i'] in `=`i'-1'

drop in `i'

}

}

keep if ustrregexm(v,`"(<h1 class="title">)|(<div style='margin-top:25px;'>)|(<li class='journal'>vol)"') 

replace v = ustrregexra(v, "<.*?>" , "")

replace v = ustrregexra(v, "\s{2,}" , ";")

replace v = ustrregexra(v, ";$", "")

sxpose ,clear

gen ym = ustrregexs(0) if ustrregexm(_var3, "[A-Z].*")

gen journal_number  = ustrregexra(_var3,", [A-Z].*","")

drop _var3

rename (_var1 _var2 ) (title author)

drop if author == ""

然后我们进行循环，可以得到所有的题目，作者，期刊号和时间。我们可以用往期的推文“送你一只粘合剂——用openall命令合并数据”中的命令openall把每篇文章的题目，作者，期刊号和时间合并起来，得到AER的终极目录。