您好,欢迎光临,本网站提供SEO关键词快速排名、网站关键词SEO优化、关键词排名SEO服务。

优化网站推广排名平台

SEO关键词快速排名优化关键词整站推广渠道

一个简单的python爬虫实践,爬取包含关键词的新浪微博

作者:jcmp      发布时间:2021-04-14      浏览量:0
此项目主要功能是通过微博“搜索”页面,每

此项目主要功能是通过微博“搜索”页面,每天自动爬取所有包含自定list中词汇的微博原数据。 低速可控,简单粗暴,适合用来有针对性的搜集数据量不是很大的包含关键词的微博,每日可爬3-6万条 。 不过后来发现其实新浪有这个API,但是隐藏得很深,等我发现的时候这个爬虫已经写完了,抹泪 :(

さぁ、始めよう~

一、说明

二、项目介绍

已获取的微博JSON数据按照request发起的日期分别存在相应的文件夹内部。WBTestdata>04-12.

每一页JSON包含十条微博数据(一般情况),将每次返回的JSON单调存在一个txt里,命名规则为“国家名”+“日期”+“页码”.

可以使用在线 JSON结构化工具 进行审查

三、项目背景

新浪微博各个客户端都提供“搜索”功能,可以得到包含关键词的微博,一般默认按照从新到老的发布顺序显示. 这里我们的目标页面是手机版的新浪微博 m.weibo.cn(因为结构简单,加载的微博数据直接以JSON文件返回,很容易获取) 比如,搜索关键词为 德国 时,页面显示如下:

打开开发者工具,选择network--XHR,然后你往下滚动页面直到有新的微博加载进来,你会发现下面那个链接:

点击它进行预览:

没错,这个就是我们的目标数据了--每当用户滚轮触底,就会通过此链接返回十条JSON格式的新微博. 我们看一下这个链接的格式:

https://m.weibo.cn/api/container/getIndex?type=all&queryVal=%E5%BE%B7%E5%9B%BD&featurecode=20000320&luicode=10000011&lfid=106003type%3D1&title=%E5%BE%B7%E5%9B%BD&containerid=100103type%3D1%26q%3D%E5%BE%B7%E5%9B%BD&page=2。

解码一下URL,其实它就等于:

https://m.weibo.cn/api/container/getIndex?type=all&queryVal=德国& featurecode=20000320&luicode=10000011&lfid=106003type%3D1&title=德国&containerid=100103type%3D1%26q%3D德国&page= 1%26q%3D%E5% BE%B7%E5%9B%BD&page=1。

关键信息一目了然,那就是 queryVal=德国 和 page=1 根据这个规则我们就可以构建目标链接进行数据爬取了。

新浪的这个JSON数据就是所谓的一页(1 page),每次返回大概10条微博记录,但有时候也会少于10条,上图中card_group中有几个数字就是有几条记录.

四、代码结构

# add header for the crawlerheaders = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

# Add in your search list!search_list = ["所罗门群岛", "斯洛伐克", "贝宁",]......

# Create url encoded search list based on the word list you have gavenurlencoded_search_list = url_encoding(search_list)urls = create_url_list(urlencoded_search_list)。

这里需要这样操作的原因在于,新浪似乎并不会真的按照创建时间顺序依次返回所有的微博,两次同一瞬间的检索分别得到的10条微博中可能会有几条不一样的,而越老的微博,新浪返回的时间间隔越大 -- 举个例子,假设用户创造微博的速率是稳定的,在进行包含关键词AAA的检索时,page1中的10条微博都创建于5分钟内,互相间隔几秒,但当你查看page 100时,其中的10条微博则可能互相间隔几个小时 -- 这肯定是不科学的. 这就限制了我们在爬取微博的时候必须从新到老,并且限制不要爬太多页面(因为老数据过于稀松价值会降低),而且对某一个时段最好能重叠搜索,所以我创造了上面的规则,使每天的任务其实为【到现在为止前72小时内发布的微博】,这样时间上的重叠能更多的获取到更全的“老”微博。

此项目git地址为 keyword_based_Sina_weibo_crawle 注释非常详细,细节就请直接参考代码.