搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 ) _爬虫

html = requests.get(url,headers= headers).text#获取内容etree.HTML(str(html)).xpath(“”//article[@class = 'article']//p//text()')

获取数据之后将其组装成sql语句，以便直接插入到数据库中。

sql = " sql_insert = 'insert into information (`type`, url,author,title,content,postTime,addtime,`unique`) values (%s,%s,%s,%s,%s,%s,%s,%s)'"

通过pymysql获取mysql的连接信息执行sql语句

conn = pymysql.connect(host=“xxxxxxx”, port=3306, user="xxxx", passwd="xxxxxx", db="news", charset="utf8")cursor = conn.cursor()cursor.execute(sql_insert)完整代码请转我的csdn连接！

搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 )

推荐阅读

每天知守观|民进党却“害怕”了?，美国送上“大礼”

宋茜|宋茜新剧口碑不俗，演技被赞脱胎换骨，两大“男二专业户”抢镜！

你有没有啥想送却又未送出的礼物

汕尾市@广东最“强”的一个镇：由镇“跳级”，直接成为地级市！

姜文|姜文的3个子女，同个爸爸不同一个妈，颜值差距真不是一般大

公司|彩虹股份：第二大股东中电彩虹解除质押约9063万股

初二学生评语(初二学生期末评语简短)

#熬夜后#熬夜后反而更精神的原因

TOPWOMEN时髦笔记|演绎优雅俏女人风格，私服穿搭更是惹人羡，杨紫最新时尚大片曝光

惠普笔记本设置开机密码怎么设置的

北青网综合|颈椎病真难受，注意这些诱因就能缓解

「娇柔的柠檬」挺难！》赚钱难！做人难！求人难，交心更难！真的好难，《一辈子

啥奶酪既可以做芝士火锅又可以做披萨

潇湘大视野|美国总统川普终于：戴口罩，瘟疫肆虐近半年、夺走13万人性命之后

引起失眠多梦的原因

春春动漫|爆笑虫子之粉小萌

安陵容|从安陵容到浣碧，不懂得五个字，怎会有幸福？

公司|益生菌“第一股”——科拓生物今成功登陆创业板

|这 22 款独立游戏即将登陆 Switch

杭州|新元素来了！电竞和霹雳舞成为杭州亚运会正式竞赛项目