标签：使用 需要 span mic raise nec 休闲 https html
1. 爬取京東商品頁面:
我們現在要爬取這個商品的頁面的詳細信息:【今日必抢 GFI联名版】原装直邮 高端定制 2020夏季新款手工时尚休闲鞋 绿色-定制款 41-标准运动鞋码
要求:
1. 只需要拿到原始代碼就可以了,不用獲得商品的具體信息
我們直接看代碼:
import requests # 需要爬取的商品頁面 url = "https://item.jd.com/68001860009.html" try: # 請求頁面 r = requests.get(url) # 判斷狀態碼, 如果連接狀態不正確, 會自動拋出異常 r.raise_for_status() # 使用備用編碼集 r.encoding = r.apparent_encoding # 查看獲取的源碼 print(r.text) except: # 爬取失敗 print(‘頁面獲取失敗‘)
如果不出所料你會得到下面的結果:
<script>window.location.href=‘https://passport.jd.com/uc/login?ReturnUrl=http://item.jd.com/68001860009.html‘</script>
這個的意思也就是說這個頁面使用了反爬蟲技術,禁止機器人訪問.所以你可以模擬瀏覽器提交請求,你只需要添加一點點代碼.
import requests # 需要爬取的商品頁面 url = "https://item.jd.com/68001860009.html" ‘‘‘ 使用帶headers的請求, head中的User-Agent表示請求的對象,Mozilla/5.0是一個標準的瀏覽器請求 後面的則是表示平台和使用的瀏覽器版本 ‘‘‘ head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"} try: # 請求頁面 r = requests.get(url, headers = head) # 判斷狀態碼, 如果連接狀態不正確, 會自動拋出異常 r.raise_for_status() # 使用備用編碼集 r.encoding = r.apparent_encoding # 查看獲取的源碼 print(r.text) except: # 爬取失敗 print(‘頁面獲取失敗‘)
ps: 查看自己提交的信息:
import requests url = "https://item.jd.com/68001860009.html" head = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" } # 默認訪問方式 r1 = requests.get(url) # 查看提交的url print(r1.request.url) # 查看請求的headers print(r1.request.headers) # 加上headers之後訪問 r2 = requests.get(url, headers=head) print(r2.request.url) print(r2.request.headers)
你會得到如下結果:
https://item.jd.com/68001860009.html {‘User-Agent‘: ‘python-requests/2.22.0‘, ‘Accept-Encoding‘: ‘gzip, deflate‘, ‘Accept‘: ‘*/*‘, ‘Connection‘: ‘keep-alive‘} https://item.jd.com/68001860009.html {‘User-Agent‘: ‘Mozilla/5.0\xa0(Windows\xa0NT\xa010.0;\xa0Win64;\xa0x64)\xa0AppleWebKit/537.36\xa0(KHTML,\xa0like\xa0Gecko)\xa0Chrome/80.0.3987.149\xa0Safari/537.36‘, ‘Accept-Encoding‘: ‘gzip, deflate‘, ‘Accept‘: ‘*/*‘, ‘Connection‘: ‘keep-alive‘}
由此我們可以看出當使用默認的請求的時候我們所提交的請求之中User-Agent是 python-requests/2.22.0,也就是說,如果使用默認的訪問方式,我們等同於直接告訴網站我是個機器人,你快來攔截我好嗎.
總結:很多網站都設有反爬蟲,使用headers能很好的偽裝自己
标签：使用 需要 span mic raise nec 休闲 https html
原文地址：https://www.cnblogs.com/ltozvxe/p/12866576.html
