标签：查找   http   like   code   val   coder   str   attrs   请求   

0x01--新发地菜价

#!/usr/local/bin/python3.6
# -*- encoding=utf-8 -*-
"""
@coder: diygou
@since: 2021/6/5下午6:33
"""
import requests
from bs4 import BeautifulSoup # BeautifulSoup(resp.text,"parser_mode|xml|html...")
import time
import csv

headers = {
    "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36",
}

f = open("新发地菜价.csv", "w")
csvwriter = csv.writer(f)

dynamic_page_number = 1


for i in range(0,10,1):
    # 查看网页源码，发现网站是服务器端渲染的，没有ajax二次请求
    url = f‘http://www.xinfadi.com.cn/marketanalysis/0/list/{dynamic_page_number}.shtml‘
    resp = requests.get(url, headers=headers)
    # print(resp.text)

    # 解析数据
    # 1、把网页源码交给bs处理，生成bs对象
    bs4 = BeautifulSoup(resp.text, "html.parser")

    # 2、从bs对象中查找数据
    # find(str@tag_name, tag_attr=tag_value)
    # find_all(str@tag_name, tag_attr=tag_value)

    # t = bs4.find("table",class_="class_="hq_table"") # class是py关键字，所以class_
    t = bs4.find("table", attrs={
        "class": "hq_table"
    })  # attrs是字典形式的 tag_attr=tag_value
    # print(t)

    # 除了第一行的tr不要(品名),拿到所有的tr
    tr_list = t.find_all("tr")[1:]
    for tr in tr_list:
        # print(tr)
        td_list = tr.find_all("td")
        # print(td_list[0].text)
        name = td_list[0].text
        low = td_list[1].text
        avg = td_list[2].text
        high = td_list[3].text
        guige = td_list[4].text
        kind = td_list[5].text
        date = td_list[6].text
        print(name, low, avg, high, guige, kind, date)
        csvwriter.writerow([name, low, avg, high, guige, kind, date])
    dynamic_page_number+=1
    time.sleep(3)

f.close()
print("新发地.csv, done!!")

# 总页数：16236
# 我们爬10页

R:

大白菜,0.50,0.55,0.60,储存\新,斤,2021-06-05
娃娃菜,0.60,0.65,0.70,大\小,斤,2021-06-05
小白菜,0.50,0.60,0.70,普通,斤,2021-06-05
芹菜,0.70,0.80,0.90,\冀,斤,2021-06-05
西芹,1.50,1.65,1.80,普通,斤,2021-06-05
菠菜,0.70,1.00,1.30,冀\蒙,斤,2021-06-05
莴笋,1.50,1.75,2.00,冀/鲁,斤,2021-06-05
团生菜,0.80,1.00,1.20,毛|净,斤,2021-06-05
圆白菜,0.40,0.45,0.50,\冀,斤,2021-06-05
紫甘蓝,0.60,0.70,0.80,冀,斤,2021-06-05
散叶生菜,1.00,1.10,1.20,\京冀,斤,2021-06-05
油菜,0.80,1.00,1.20,\京冀,斤,2021-06-05
香菜,1.00,1.25,1.50,\冀,斤,2021-06-05
茴香,1.00,1.15,1.30,\冀,斤,2021-06-05
韭菜,0.80,1.00,1.20,普通,斤,2021-06-05
韭菜苔,3.50,3.65,3.80,普通,斤,2021-06-05
苦菊,0.80,1.00,1.20,辽,斤,2021-06-05
油麦菜,1.00,1.25,1.50,\京,斤,2021-06-05
散菜花,1.00,1.25,1.50,豫\苏,斤,2021-06-05
绿菜花,1.40,1.50,1.60,京\ 冀,斤,2021-06-05
菜花,1.50,1.60,1.70,/冀,斤,2021-06-05
绿豆芽,0.95,0.98,1.00,普通,斤,2021-06-05
黄豆芽,0.85,0.88,0.90,普通,斤,2021-06-05
紫菜苔,3.00,3.25,3.50,普通,斤,2021-06-05
番茄,1.00,1.25,1.50,川鲁蒙,斤,2021-06-05
番茄（精品）,1.40,1.60,1.80,\鲁新,斤,2021-06-05
樱西,3.00,3.15,3.30,小红,斤,2021-06-05
黄瓜,0.70,0.80,0.90,蒙辽袋\鲁,斤,2021-06-05
黄瓜(鲜干花),0.80,1.00,1.20,冀,斤,2021-06-05
小黄瓜,1.50,2.05,2.60,旱\荷兰,斤,2021-06-05
茄子,0.80,1.00,1.20,冀,斤,2021-06-05
长茄,0.80,1.05,1.30,辽,斤,2021-06-05
广茄,1.20,1.50,1.80,冀,斤,2021-06-05
线茄,2.00,3.00,4.00,冀,斤,2021-06-05
吊冬瓜,0.65,0.70,0.75,冀,斤,2021-06-05
地冬瓜,0.45,0.50,0.55,冀,斤,2021-06-05
小毛冬瓜,0.80,1.00,1.20,冀\长,斤,2021-06-05
架豆,2.00,2.25,2.50,普通,斤,2021-06-05
豆王,2.50,3.25,4.00,普通,斤,2021-06-05
扁豆,2.50,3.00,3.50,冀\鲁聊城,斤,2021-06-05
豇豆,2.00,2.50,3.00,鲁\京,斤,2021-06-05
白不老,2.00,2.10,2.20,滇|鲁,斤,2021-06-05
锅里变架豆,1.70,1.85,2.00,普通,斤,2021-06-05
油豆,2.00,2.50,3.00,鲁,斤,2021-06-05
毛豆,3.80,3.90,4.00,普通,斤,2021-06-05
豌豆,1.00,1.15,1.30,普通,斤,2021-06-05
蚕豆,1.20,1.30,1.40,普通,斤,2021-06-05
荷兰豆,5.00,5.50,6.00,冀\云,斤,2021-06-05
玉米,1.50,1.65,1.80,普通,斤,2021-06-05
花生,4.50,5.00,5.50,广东\海南,斤,2021-06-05
苦瓜,1.30,1.40,1.50,鲁,斤,2021-06-05
丝瓜,1.50,1.75,2.00,豫\鲁,斤,2021-06-05
丝瓜,2.00,2.25,2.50,短,斤,2021-06-05
瓠子,1.50,1.65,1.80,普通,斤,2021-06-05
西葫芦,0.60,0.80,1.00,滇/鲁,斤,2021-06-05
佛手瓜,2.50,2.75,3.00,普通,斤,2021-06-05
金丝南瓜,0.70,0.80,0.90,琼,斤,2021-06-05
南北瓜,0.90,0.95,1.00,桂,斤,2021-06-05
尖椒,1.20,1.35,1.50,冀晋/鲁新,斤,2021-06-05
螺丝椒,1.60,1.80,2.00,普通,斤,2021-06-05
柿子椒,1.20,1.40,1.60,\鲁新,斤,2021-06-05
线椒,2.00,2.10,2.20,\鲁琼新,斤,2021-06-05
杭椒,2.00,2.25,2.50,普通,斤,2021-06-05
小米椒,4.00,4.50,5.00,滇,斤,2021-06-05
彩椒,4.00,4.50,5.00,红\黄,斤,2021-06-05
白萝卜,0.30,0.35,0.40,\冀,斤,2021-06-05
心里美,2.00,2.15,2.30,冀/新,斤,2021-06-05
卞萝卜,0.50,0.60,0.70,冀,斤,2021-06-05
青萝卜,0.80,0.90,1.00,冀\鲁新,斤,2021-06-05
胡萝卜,0.70,0.80,0.90,冀/鲁新,斤,2021-06-05
胡萝卜（洗）,0.80,0.95,1.10,冀/鲁,斤,2021-06-05
小水萝卜,0.90,1.00,1.10,普通,斤,2021-06-05
土豆,0.70,0.80,0.90,\冀,斤,2021-06-05
新土豆（黄心）,0.80,1.00,1.20,鲁,斤,2021-06-05
黄葱头,0.80,1.00,1.20,\蒙甘,斤,2021-06-05
红葱头,1.10,1.20,1.30,老/新,斤,2021-06-05
山药,1.80,2.25,2.70,脆\麻新,斤,2021-06-05
铁棍山药,5.00,5.50,6.00,普通,斤,2021-06-05
莲藕,3.00,4.00,5.00,\津,斤,2021-06-05
红薯,1.00,1.30,1.60,\冀新,斤,2021-06-05
茭白,2.50,2.75,3.00,京\浙,斤,2021-06-05
凉薯,2.00,2.15,2.30,普通,斤,2021-06-05
荸荠,3.00,3.40,3.80,皖,斤,2021-06-05
芋头,2.00,2.15,2.30,\鲁,斤,2021-06-05
苇叶,3.40,4.70,6.00,普通,斤,2021-06-05
姜,3.00,3.75,4.50,姜头\整,斤,2021-06-05
大蒜,2.50,3.00,3.50,普通,斤,2021-06-05
新蒜,2.20,2.60,3.00,普通,斤,2021-06-05
蒜米,3.20,3.50,3.80,普通,斤,2021-06-05
大葱,0.80,1.20,1.60,冀\鲁,斤,2021-06-05
小葱,1.00,1.15,1.30,普通,斤,2021-06-05
蒜苗,2.00,3.25,4.50,苏鲁,斤,2021-06-05
蒜黄,4.50,5.00,5.50,\冀,斤,2021-06-05
青蒜,2.40,2.60,2.80,冀,斤,2021-06-05
平菇,4.00,4.50,5.00,\小叶,斤,2021-06-05
香菇,3.00,4.00,5.00,普通,斤,2021-06-05
白玉菇,2.50,3.00,3.50,普通,斤,2021-06-05
口蘑,6.00,6.30,6.60,普通,斤,2021-06-05
杏鲍菇,2.00,2.50,3.00,普通,斤,2021-06-05
金针菇,1.00,1.50,2.00,普通,斤,2021-06-05
椰青/个,6.00,6.25,6.50,其他类,斤,2021-06-05
箱装菠萝（上六下六）,1.20,1.40,1.60,其他类,斤,2021-06-05
百香果,10.00,11.00,12.00,其他类,斤,2021-06-05
桑葚,3.50,4.00,4.50,其他类,斤,2021-06-05
红颜九九草莓,7.00,8.00,9.00,其他类,斤,2021-06-05
杨梅,8.00,10.00,12.00,其他类,斤,2021-06-05
火龙果,3.00,4.50,6.00,其他类,斤,2021-06-05
木瓜,3.00,3.25,3.50,其他类,斤,2021-06-05
柠檬,3.50,3.75,4.00,其他类,斤,2021-06-05
黑枣,5.00,5.50,6.00,其他类,斤,2021-06-05
山楂,8.00,10.00,12.00,其他类,斤,2021-06-05
姑娘果（灯笼果）,10.00,15.00,20.00,其他类,斤,2021-06-05
鸭梨,1.20,1.35,1.50,梨类,斤,2021-06-05
雪花梨,1.40,1.50,1.60,梨类,斤,2021-06-05
皇冠梨（标箱）,2.00,2.25,2.50,梨类,斤,2021-06-05
丰水梨,2.50,2.75,3.00,梨类,斤,2021-06-05
酥梨,1.50,1.65,1.80,梨类,斤,2021-06-05
库尔勒香梨,3.00,3.50,4.00,梨类,斤,2021-06-05
红香酥梨系列,1.50,1.75,2.00,梨类,斤,2021-06-05
红啤梨,3.00,3.25,3.50,梨类,斤,2021-06-05
蜜梨,2.00,2.50,3.00,梨类,斤,2021-06-05
耙耙柑、丑橘,2.00,2.50,3.00,柑橘类,斤,2021-06-05
鄂、湘、川脐橙,1.50,2.10,2.70,柑橘类,斤,2021-06-05
沃柑,3.50,4.00,4.50,柑橘类,斤,2021-06-05
金桔,5.00,6.00,7.00,柑橘类,斤,2021-06-05
伦晚,1.80,2.40,3.00,柑橘类,斤,2021-06-05
油桃,2.00,3.50,5.00,桃李杏类,斤,2021-06-05
蟠桃,4.50,7.25,10.00,桃李杏类,斤,2021-06-05
水蜜桃,10.00,12.00,14.00,桃李杏类,斤,2021-06-05
春雪,2.80,5.40,8.00,桃李杏类,斤,2021-06-05
黄油桃,4.00,6.00,8.00,桃李杏类,斤,2021-06-05
黄毛桃,6.00,8.00,10.00,桃李杏类,斤,2021-06-05
突围,2.50,3.00,3.50,桃李杏类,斤,2021-06-05
猕猴桃（徐香翠香）,2.50,3.00,3.50,桃李杏类,斤,2021-06-05
猕猴桃（海沃德）,2.00,2.25,2.50,桃李杏类,斤,2021-06-05
胭脂杏,3.00,3.50,4.00,桃李杏类,斤,2021-06-05
李子,6.00,8.00,10.00,桃李杏类,斤,2021-06-05
秦杏,3.00,3.50,4.00,桃李杏类,斤,2021-06-05
金太阳,1.20,1.60,2.00,桃李杏类,斤,2021-06-05
丰源红,2.00,2.50,3.00,桃李杏类,斤,2021-06-05
凯特杏、白杏,9.00,10.00,11.00,桃李杏类,斤,2021-06-05
无籽小号-大号,1.80,1.90,2.00,西瓜类,斤,2021-06-05
麒麟、甜蜜蜜,1.80,2.10,2.40,西瓜类,斤,2021-06-05
黑美人,1.60,1.80,2.00,西瓜类,斤,2021-06-05
特小风,2.00,2.25,2.50,西瓜类,斤,2021-06-05
L600吊秧瓜,2.00,2.40,2.80,西瓜类,斤,2021-06-05
甜王,0.80,1.00,1.20,西瓜类,斤,2021-06-05
蜜童,2.00,2.15,2.30,西瓜类,斤,2021-06-05
墨童西瓜,2.00,2.15,2.30,西瓜类,斤,2021-06-05
绿宝（p2）,1.80,1.90,2.00,西瓜类,斤,2021-06-05
国产香蕉,2.20,2.50,2.80,香蕉类,斤,2021-06-05
南美、菲律宾香蕉,3.00,3.25,3.50,香蕉类,斤,2021-06-05
泰国香蕉（帝王蕉）,8.00,8.50,9.00,香蕉类,斤,2021-06-05
晓蜜25号,1.80,2.00,2.20,甜瓜类,斤,2021-06-05
黄金瓜／金蜜,2.00,2.10,2.20,甜瓜类,斤,2021-06-05
玉菇,2.00,2.25,2.50,甜瓜类,斤,2021-06-05
网纹,3.00,3.25,3.50,甜瓜类,斤,2021-06-05
长香玉,1.40,1.50,1.60,甜瓜类,斤,2021-06-05
西洲蜜,2.00,2.40,2.80,甜瓜类,斤,2021-06-05
24/白糖罐,1.50,1.75,2.00,甜瓜类,斤,2021-06-05
羊角蜜,1.70,2.10,2.50,甜瓜类,斤,2021-06-05
花蕾甜瓜,2.50,3.00,3.50,甜瓜类,斤,2021-06-05
久红瑞,2.00,2.10,2.20,甜瓜类,斤,2021-06-05
绿宝甜瓜,2.00,3.00,4.00,甜瓜类,斤,2021-06-05
博阳（系列）,1.80,2.65,3.50,甜瓜类,斤,2021-06-05
景甜,1.50,2.50,3.50,甜瓜类,斤,2021-06-05
富士（纸袋Φ70-84）,1.80,2.30,2.80,苹果类,斤,2021-06-05
富士（纸+膜袋）,1.50,1.75,2.00,苹果类,斤,2021-06-05
富士（纸袋Φ85以上）,2.50,3.00,3.50,苹果类,斤,2021-06-05
黄元帅,1.50,1.75,2.00,苹果类,斤,2021-06-05
花牛(Φ70-85),1.40,2.00,2.60,苹果类,斤,2021-06-05
新疆阿克苏（冰糖心）,3.00,3.50,4.00,苹果类,斤,2021-06-05
国光苹果,1.00,1.50,2.00,苹果类,斤,2021-06-05
辽宁寒富苹果,1.50,1.75,2.00,苹果类,斤,2021-06-05
巨峰葡萄,5.00,6.50,8.00,葡萄类,斤,2021-06-05
红提葡萄,8.00,10.00,12.00,葡萄类,斤,2021-06-05
玫瑰香葡萄,7.00,8.00,9.00,葡萄类,斤,2021-06-05
克伦生,6.00,8.00,10.00,葡萄类,斤,2021-06-05
黑提葡萄、夏黑,6.00,8.00,10.00,葡萄类,斤,2021-06-05
蓝莓葡萄,8.00,9.00,10.00,葡萄类,斤,2021-06-05
乒乓球葡萄,8.00,9.00,10.00,葡萄类,斤,2021-06-05
维多利亚葡萄,4.00,5.00,6.00,葡萄类,斤,2021-06-05
郁金香,9.00,10.00,11.00,葡萄类,斤,2021-06-05
台农小芒果,2.50,3.00,3.50,芒果类,斤,2021-06-05
台农大芒果,2.50,3.50,4.50,芒果类,斤,2021-06-05
红金龙,4.00,5.00,6.00,芒果类,斤,2021-06-05
高乐密,2.50,3.75,5.00,芒果类,斤,2021-06-05
青皮芒果,2.50,3.25,4.00,芒果类,斤,2021-06-05
水仙芒果,3.50,4.50,5.50,芒果类,斤,2021-06-05
玉纹,4.00,5.50,7.00,芒果类,斤,2021-06-05
肯特\新世纪\澳芒,4.50,6.00,7.50,芒果类,斤,2021-06-05
妃子笑,4.00,5.00,6.00,荔枝类,斤,2021-06-05
荔枝王,9.00,11.00,13.00,荔枝类,斤,2021-06-05
桂味,4.00,5.50,7.00,荔枝类,斤,2021-06-05
红灯,8.00,10.50,13.00,樱桃类,斤,2021-06-05
水晶,10.00,14.00,18.00,樱桃类,斤,2021-06-05
佳红,60.00,100.00,140.00,樱桃类,斤,2021-06-05
美国红,10.00,10.50,11.00,樱桃类,斤,2021-06-05
美早,6.50,23.25,40.00,樱桃类,斤,2021-06-05
布鲁克斯,6.00,11.00,16.00,樱桃类,斤,2021-06-05

0x02--美图库

ss

爬虫_10-20

标签：查找   http   like   code   val   coder   str   attrs   请求   

原文地址：https://www.cnblogs.com/qingzuihub/p/14853681.html