长津湖堪称今年票房最猛的电影了叭!截止21号票房已经突破50亿!长津湖YYDS!
当然现在涨势已经慢慢下来了,距离上次45亿过去了一周才涨了五个亿,上次咱们爬的是猫眼评论,那么我们就用Python来爬取豆瓣的电影评论,看看大家在豆瓣怎样说!
本文的文字及图片来源于网络,仅供学习、交流使用,不具备任何商业用途,如有问题请及时联络我们以作解决。
Python 3.8
Pycharm
import csv
import requests
安装Python并增加到环境变量,pip安装需要的相关模块就可。
豆瓣的网站数据,没有什么反爬,同样也静态网页数据,所以很是简单~
import requestsimport parselimport csvf = open('长津湖短评.csv', mode='a', encoding='utf-8-sig', newline='')csv_writer = csv.DictWriter(f, fieldnames=[ '客户名', '能否看过', '推荐', '日期', '点赞', '内容',])csv_writer.writeheader()url = 'https://movie.douban.com/subject/25845392/comments?start=40&limit=20&status=P&sort=new_score'headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'}response = requests.get(url=url, headers=headers)selector = parsel.Selector(response.text)divs = selector.css('#comments div.comment-item')for div in divs: name = div.css('.comment-info a::text').get() # 客户名 span = div.css('.comment-info span:nth-child(2)::text').get() # 能否看过 feel = div.css('.comment-info span:nth-child(3)::attr(title)').get() # 推荐 date = div.css('.comment-info span:nth-child(4)::text').get().strip() # 日期 content = div.css('.comment-content .short::text').get() # 内容 vote = div.css('.comment-vote span::text').get() # 点赞 dit = { '客户名': name, '能否看过': span, '推荐': feel, '日期': date, '点赞': vote, '内容': content, } csv_writer.writerow(dit) print(dit)
.