怎样接做网站的活/青岛seo网站关键词优化

基操爬取网易云歌曲榜单中网易云歌曲及其对应id

回顾xpath csv re requests

先进行基础抓包!
1

2

3

然后就是代码啦，兄弟们，我的代码都很完整，看懂思路，直接收藏复制粘贴就可以运行

import requests
from lxml import etree
import re
import csv
#原网页的url为 https://music.163.com/#/discover/toplist
url="https://music.163.com/discover/toplist"#数据所在的url
headers={"User-Agent": "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7"}
response=requests.get(url=url,headers=headers)
print(response.status_code)
text="获取错误"
if response.status_code==200:#状态码获取从而判断text=requests.get(url=url,headers=headers).content.decode()
print(text)
html=etree.HTML(text)#xpath进行解析
musicTitle=html.xpath("//title/text()")#定位开头
# introduction=html.xpath("//meta[@property='og:description']/@content")如果是用户自建的歌单 介绍所在的位置，但我们现在爬取的是官方榜单没有介绍
musicList=html.xpath("//div[@id='song-list-pre-cache']/ul[@class='f-hide'][1]")[0]#第一步定位到歌单歌曲位置
oneMusicNameList = musicList.xpath("//li/a/text()")#歌单歌曲名称,但后面有很多无用信息
oneMusicUrlList=musicList.xpath("//li/a/@href")#歌单歌曲地址,但后面有很多无用信息
for i in range(len(oneMusicUrlList)):#对数据进行清洗，获取前面的歌曲信息，那些微信，微博这些没用信息就不要了if re.search("/song\?id=.+",oneMusicUrlList[i])==None:#进行判断re.search没查到就返回Noneprint(i)break
oneMusicNameList=oneMusicNameList[:i]
oneMusicUrlList=oneMusicUrlList[:i]
oneMusicIdList=list(map(lambda x:re.search("id=(\d+)",x).group(0),oneMusicUrlList))#获取其中id
musicList=[]#为csv字典存储创建列表
for i in range(len(oneMusicNameList)):musicDict={}musicDict["歌曲名"]=oneMusicNameList[i]musicDict["歌曲id"]=oneMusicIdList[i]musicDict['歌曲url地址']="https://music.163.com/#"+oneMusicUrlList[i]musicList.append(musicDict)
# print(oneMusicIdList)
# print(oneMusicNameList)
# print(oneMusicUrlList)
# print(musicTitle)
# print(introduction)
print(musicList)
with open(f"{musicTitle[0]}.csv","w+",encoding="utf-8",newline="") as f:#因为有日文韩文歌所以不能用gbkwriter=csv.DictWriter(f,fieldnames=("歌曲名","歌曲id","歌曲url地址"),delimiter="|")# csv.writer(deli)writer.writeheader()writer.writerows(musicList)

新春快乐，以后我爬一个，你们学一个，hhhhh，重点是思路
新的一年大家加油，一起努力
原创不易，给个点赞如果有点收获，谢谢啦