码迷,mamicode.com
首页 > 其他好文 > 详细

抓取新浪新闻的内容以及链接

时间:2016-11-27 19:23:08      阅读:206      评论:0      收藏:0      [点我收藏+]

标签:数据   香港   职称   人才   抓取   录音   原则   女大学生   neu   

import requests
from bs4 import BeautifulSoup
res = requests.get(‘http://news.sina.com.cn/china/‘)
res.encoding=‘utf-8‘
soup = BeautifulSoup(res.text,‘html.parser‘)

for news in soup.select(‘.news-item‘):
if(len(news.select(‘h2‘))>0):
h2=news.select(‘h2‘)[0].text
a=news.select(‘a‘)[0][‘href‘]
print(h2)
print(a)

输出结果:
C:\Python27\python.exe D:/58zlj/untitled1/123.py
军委视察首个海外后勤保障设施 传递何种信号
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmp0301082.shtml
女大学生失联 曾定期在学校接受心理辅导
http://news.sina.com.cn/c/2016-11-27/doc-ifxyasmv1990204.shtml
陕西国土局长被举报占地建别墅 调查称其父所为
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmp0298750.shtml
新疆阿克陶县余震已达520次 最大余震5.0级
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmp0298219.shtml
山西警方破文物盗窃案 查扣壁画21幅青铜器4件
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmm3536020.shtml
“双标”信用卡将退市 出境消费需多带一张卡
http://news.sina.com.cn/c/zs/2016-11-27/doc-ifxyawmm3535180.shtml
云南大理一处收费站外发生车祸 致5人死亡(图)
http://news.sina.com.cn/c/2016-11-27/doc-ifxyawxa2862804.shtml
山西介休市土坡坍塌致2人遇难 4人获救
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawxa2861530.shtml
发改委:东北人口10年流失100万 高层次人才居多
http://news.sina.com.cn/c/zs/2016-11-27/doc-ifxyawmp0291284.shtml
北京市民献花悼念卡斯特罗 古巴驻华使馆降半旗
http://news.sina.com.cn/c/2016-11-27/doc-ifxyasmv1983361.shtml
环京楼市现降温迹象 多楼盘调整价格增加优惠
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyasmv1983044.shtml
江西电厂坍塌事故遇难者理赔标准为每人120万元
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmm3548613.shtml
韩渔船浙江外海沉没4人失踪 中国海军参与搜救
http://news.sina.com.cn/c/2016-11-27/doc-ifxyasmv1993446.shtml
环渤海高铁方案获原则通过 设计时速350公里
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmm3540840.shtml
军委视察首个海外后勤保障设施 传递何种信号
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmp0301082.shtml
山西临汾:重污染天气将实行单双号限行
http://news.sina.com.cn/c/2016-11-27/doc-ifxyasmv1990836.shtml
女大学生失联 曾定期在学校接受心理辅导
http://news.sina.com.cn/c/2016-11-27/doc-ifxyasmv1990204.shtml
陕西国土局长被举报占地建别墅 调查称其父所为
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmp0298750.shtml
新疆阿克陶县余震已达520次 最大余震5.0级
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmp0298219.shtml
网友发布捕鸟照被国家林业局官微批评 警方介入
http://news.sina.com.cn/c/2016-11-27/doc-ifxyawxa2865270.shtml
山西警方破文物盗窃案 查扣壁画21幅青铜器4件
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmm3536020.shtml
前财长楼继伟赴任正部级新职 或主导养老金入市
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmp0295961.shtml
云南大理一处收费站外发生车祸 致5人死亡(图)
http://news.sina.com.cn/c/2016-11-27/doc-ifxyawxa2862804.shtml
上海浦东机场摆渡车险与飞机相撞 东航回应
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmm3533857.shtml
山西介休市土坡坍塌致2人遇难 4人获救
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawxa2861530.shtml
北京市民献花悼念卡斯特罗 古巴驻华使馆降半旗
http://news.sina.com.cn/c/2016-11-27/doc-ifxyasmv1983361.shtml
环京楼市现降温迹象 多楼盘调整价格增加优惠
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyasmv1983044.shtml
云南30家单位招1200人 部分岗位津贴高达30万元
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyasmv1981670.shtml
贵阳城管悬赏50万寻城市环境管理痛点方案
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyasmv1978981.shtml
贵州推冬季旅游优惠:黄果树等50余个景区打折
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawxa2855652.shtml
台风黄色预警:福建广东海南沿海有9到10级大风
http://news.sina.com.cn/o/2016-11-27/doc-ifxyawxa2851119.shtml
菲律宾总统访华1个月后称即将再次访问中国
http://news.sina.com.cn/c/nd/2016-11-27/doc-ifxyawmp0273829.shtml
浙江提前2个月高考报名 随迁子女可报考普高
http://news.sina.com.cn/o/2016-11-27/doc-ifxyawxa2845536.shtml
港专毕业生举牌反释法 校长:战乱天灾谁救你
http://news.sina.com.cn/c/gat/2016-11-27/doc-ifxyawxa2865614.shtml
外媒:香港接获内地线报后查扣新加坡装甲车
http://news.sina.com.cn/c/2016-11-27/doc-ifxyasmv1981207.shtml
李登辉:台湾要走自己的路 不必与大陆维持现状
http://news.sina.com.cn/c/gat/2016-11-27/doc-ifxyawmm3505805.shtml
台湾维冠大楼倒塌案5人获刑 罹难者家属将上诉
http://news.sina.com.cn/o/2016-11-27/doc-ifxyawxa2841456.shtml
大陆学生问任期内买武器 马英九:你为何有意见
http://news.sina.com.cn/c/gat/2016-11-27/doc-ifxyawmp0264876.shtml
梁振英对话港青年:立场不同不要紧 关键要沟通
http://news.sina.com.cn/c/gat/2016-11-26/doc-ifxyawmm3492776.shtml
外媒:新加坡急于要回被香港查扣装甲车
http://news.sina.com.cn/c/gat/2016-11-26/doc-ifxyawmm3486792.shtml
蔡英文在英媒撰文 誓要把台湾“再次变成猛虎”
http://news.sina.com.cn/c/gat/2016-11-26/doc-ifxyawmm3478546.shtml
台湾台南维冠大楼倒塌致115死案建商被判刑5年
http://news.sina.com.cn/c/gat/2016-11-26/doc-ifxyawmm3472580.shtml
台党产会宣布将国民党党部大楼收归“国有”
http://news.sina.com.cn/c/gat/2016-11-26/doc-ifxyawmm3430532.shtml
末代港督怒斥“港独”议员?媒体揭其险恶用心
http://news.sina.com.cn/c/nd/2016-11-25/doc-ifxyasmv1890922.shtml
台复兴航空董事长被检方带走 高层或涉内线交易
http://news.sina.com.cn/o/2016-11-25/doc-ifxyawxa2743283.shtml
辱国议员被追讨186万港元薪津 称遭立法会打压
http://news.sina.com.cn/c/gat/2016-11-25/doc-ifxyawmm3358935.shtml
“绿委”回应陈水扁录音曝光:“总统”精力过剩
http://news.sina.com.cn/c/2016-11-25/doc-ifxyasmv1850305.shtml
香港立法会向两名辱国议员追讨186万港元薪津
http://news.sina.com.cn/c/gat/2016-11-25/doc-ifxyawmp0114836.shtml
台媒看复兴航空解散:两岸关系转冷后遗症扩大
http://news.sina.com.cn/c/gat/2016-11-25/doc-ifxyawxa2720843.shtml
台日经贸会议重返谈判桌 日本对台当局释善意
http://news.sina.com.cn/c/2016-11-25/doc-ifxyasmv1833467.shtml
台湾34名电信诈骗犯在泰国刑满获释 已驱逐出境
http://news.sina.com.cn/c/2016-11-25/doc-ifxyasmv1833458.shtml
台湾学者:蔡英文追杀国民党是“最安全的选择”
http://news.sina.com.cn/c/gat/2016-11-25/doc-ifxyawmm3321465.shtml
报告称港台人均财富破百万 瑞士仍是最富裕国家
http://news.sina.com.cn/c/2016-11-25/doc-ifxyawxa2711052.shtml
“双标”信用卡将退市 出境消费需多带一张卡
http://news.sina.com.cn/c/zs/2016-11-27/doc-ifxyawmm3535180.shtml
发改委:东北人口10年流失100万 高层次人才居多
http://news.sina.com.cn/c/zs/2016-11-27/doc-ifxyawmp0291284.shtml
台湾学者:两岸关系当务之急是增进文化认同
http://news.sina.com.cn/o/2016-11-25/doc-ifxyawxa2779844.shtml
外媒:菲律宾称逮捕1200余名涉非法打工中国人
http://news.sina.com.cn/o/2016-11-25/doc-ifxyasmv1860519.shtml
日本宣布将中国从“特惠关税”对象国中剔除
http://news.sina.com.cn/o/2016-11-25/doc-ifxyawxa2745063.shtml
中国智库首次发布美在亚太地区军力报告
http://news.sina.com.cn/o/2016-11-25/doc-ifxyasmv1856943.shtml
中美就制裁朝鲜达一致却遭俄阻拦? 外交部回应
http://news.sina.com.cn/c/zs/2016-11-24/doc-ifxyawmp0017503.shtml
日本拟把中国从关税减免名单中剔除 商务部回应
http://news.sina.com.cn/c/zs/2016-11-24/doc-ifxyasmv1755509.shtml
三部门:确保2020年前完成4类重点对象危房改造
http://news.sina.com.cn/o/2016-11-24/doc-ifxyawxa2607043.shtml
媒体:八达岭动物园母亲虎口救女算不算见义勇为
http://news.sina.com.cn/c/zs/2016-11-24/doc-ifxyasmv1633099.shtml
外交部回应TPP协定:亚太地区不由某一家说了算
http://news.sina.com.cn/c/zs/2016-11-23/doc-ifxxwrwh5034114.shtml
中央环保督查组晒8省份问题 超3400人被问责
http://news.sina.com.cn/c/zs/2016-11-23/doc-ifxxwrwk1741480.shtml
中纪委谈党内监督:领导干部手电筒要对自己照
http://news.sina.com.cn/o/2016-11-23/doc-ifxxwsix4477389.shtml
外媒称中国人吃肉增多影响健康 还导致全球变暖
http://news.sina.com.cn/c/zs/2016-11-23/doc-ifxxwmws3600541.shtml
中纪委:一把手违法易连锁反应 甚至塌方式腐败
http://news.sina.com.cn/o/2016-11-23/doc-ifxxwsix4475057.shtml
媒体:特朗普不搞TPP 中国机会来了?
http://news.sina.com.cn/c/zs/2016-11-23/doc-ifxxwrwh4974627.shtml
个税改革方案拟明年出炉 增专项扣除是改革方向
http://news.sina.com.cn/c/zs/2016-11-23/doc-ifxxwsix4420036.shtml
中国科学家研究称寨卡病毒可能导致雄性不育
http://news.sina.com.cn/c/zs/2016-11-22/doc-ifxxwsix4411595.shtml
外交部:日本福岛地震暂无中国公民伤亡
http://news.sina.com.cn/c/zs/2016-11-22/doc-ifxxwsix4409150.shtml
外交部:约3000名缅甸边民躲避战乱进入中国境内
http://news.sina.com.cn/c/zs/2016-11-22/doc-ifxxwsix4399098.shtml
湖南从严推进县乡人大换届选举:铭记衡阳案教训
http://news.sina.com.cn/c/sd/2016-11-27/doc-ifxyawxa2866597.shtml
北京国I国Ⅱ车辆明年2月15日起五环内限行
http://news.sina.com.cn/c/sd/2016-11-21/doc-ifxxwrwh4831425.shtml
北京重污染应急预案为何5年4版本
http://news.sina.com.cn/c/2016-11-21/doc-ifxxwsix4256007.shtml
中央督察组:黑龙江自然保护区违建问题严重
http://news.sina.com.cn/c/2016-11-15/doc-ifxxsmuu5714118.shtml
这些贪官为什么被判终身监禁
http://news.sina.com.cn/c/sd/2016-11-15/doc-ifxxsmic6290399.shtml
遭贾敬龙射杀村支书之子接任父职 被指村官世袭
http://news.sina.com.cn/c/sd/2016-11-06/doc-ifxxnety7454000.shtml
揭秘职称评选之痛 教授称专注教学就是毁灭自己
http://news.sina.com.cn/c/sd/2016-11-06/doc-ifxxnety7452898.shtml
河北两处环境监测点受“特殊照顾” 数据涉造假
http://news.sina.com.cn/c/sd/2016-11-05/doc-ifxxneua4171843.shtml
原国务院官员:职工早退休去跳广场舞是浪费
http://news.sina.com.cn/c/sd/2016-10-31/doc-ifxxfysn8142356.shtml
中国船员被索马里海盗劫持1671天 称不再出海
http://news.sina.com.cn/o/2016-10-29/doc-ifxxfysn8035051.shtml
河北河南会议费新规:一类会议每人每天600元
http://news.sina.com.cn/c/2016-10-27/doc-ifxxfyez2094779.shtml
中纪委反腐片曝光77名官员 有副国级有村主任
http://news.sina.com.cn/c/sd/2016-10-26/doc-ifxwztrt0461059.shtml
北京本月已发3次污染预警 明天将再现中度污染
http://news.sina.com.cn/c/2016-10-24/doc-ifxwzpsa8495431.shtml
高校“百团大战”背后的退社潮:精力不够是主因
http://news.sina.com.cn/o/2016-10-24/doc-ifxwzuci9374853.shtml
黑龙江依兰交警被指设岗收钱 超载车给钱就过
http://news.sina.com.cn/c/sd/2016-10-24/doc-ifxwzuci9359158.shtml
揭秘高额返现骗局:若资金链断裂后入者血本无归
http://news.sina.com.cn/c/sd/2016-10-23/doc-ifxwztrt0189153.shtml
北京多楼盘涉嫌捂盘 有豪宅销售怂恿客户假离婚
http://news.sina.com.cn/c/sd/2016-10-23/doc-ifxwztru6919406.shtml
新中国“第一贪”受贿3个亿 为何没被判死刑?
http://news.sina.com.cn/c/sd/2016-10-23/doc-ifxwztru6919346.shtml
四川悬崖村村民:没读书吃了亏不能让小孩再吃亏
http://news.sina.com.cn/c/sd/2016-10-21/doc-ifxwztrs9917939.shtml
十三年10位航天员“飞天” 已有6位成少将
http://news.sina.com.cn/c/sd/2016-10-17/doc-ifxwvpaq1486203.shtml

Process finished with exit code 0


抓取新浪新闻的内容以及链接

标签:数据   香港   职称   人才   抓取   录音   原则   女大学生   neu   

原文地址:http://www.cnblogs.com/zlj1992/p/6106860.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!