中文字幕av高清_国产视频一二区_男女羞羞羞视频午夜视频_成人精品一区_欧美色视_在线视频这里只有精品

千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)

手機站
千鋒教育

千鋒學(xué)習(xí)站 | 隨時隨地免費學(xué)

千鋒教育

掃一掃進(jìn)入千鋒手機站

領(lǐng)取全套視頻
千鋒教育

關(guān)注千鋒學(xué)習(xí)站小程序
隨時隨地免費學(xué)習(xí)課程

當(dāng)前位置:首頁  >  技術(shù)干貨  > selenium-綜合案例

selenium-綜合案例

來源:千鋒教育
發(fā)布人:qyf
時間: 2022-09-08 18:01:00 1662631260

selenium-綜合案例

  綜合案例

  import os

  from selenium import webdriver

  from selenium.webdriver.common.by import By

  from selenium.webdriver.support import expected_conditions as EC # available since 2.26.0

  from selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0

  from selenium.webdriver.support import expected_conditions

  import pandas as pd

  class MyCrawler(object):

  def __init__(self):

  self.path = "./data"

  if not os.path.exists(self.path):

  os.mkdir(self.path)

  self.driver = webdriver.Chrome()

  self.base_url = "http://data.house.163.com/bj/housing/trend/district/todayprice/{date:s}/{interval:s}/allDistrict/1.html?districtname={disname:s}#stoppoint"

  self.data = None

  def craw_page(self, date="2020.01.01-2020.12.30", interval="month", disname="全市"):

  driver = self.driver

  url = self.base_url.format(date=date, interval=interval, disname=disname)

  driver.get(url)

  try:

  WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "resultdiv_1")))

  self.data = pd.DataFrame()

  ct = True

  while ct:

  self.get_items_in_page(driver)

  e_pages = driver.find_elements_by_xpath(

  '//div[@class="pager_box"]/a[@class="pager_b current"]/following::a[@class="pager_b "]')

  if len(e_pages) > 0:

  next_page_num = e_pages[0].text

  e_pages[0].click()

  # 通過判斷當(dāng)前頁是否為我們點擊頁面的方式來等待頁面加載完成

  WebDriverWait(driver, 10).until(

  expected_conditions.text_to_be_present_in_element(

  (By.XPATH, '//a[@class="pager_b current"]'),

  next_page_num

  )

  )

  else:

  ct = False

  brea

  return self.data

  finally:

  driver.quit()

  def get_items_in_page(self, driver):

  e_tr = driver.find_elements_by_xpath("http://tr[normalize-space(@class)='mBg1' or normalize-space(@class)='mBg2']")

  temp = pd.DataFrame(e_tr, columns=['web'])

  temp['時間'] = temp.web.apply(lambda x: x.find_element_by_class_name('wd2').text.split(' ')[0])

  temp['套數(shù)'] = temp.web.apply(lambda x: x.find_element_by_class_name('wd5').text)

  temp['均價'] = temp.web.apply(lambda x: x.find_element_by_class_name('wd7').text)

  temp['去化'] = temp.web.apply(lambda x: x.find_element_by_class_name('wd14').text)

  del temp['web']

  self.data = pd.concat([temp, self.data], axis=0)

  mcraw = MyCrawler()

  data = mcraw.craw_page()

  data= data.sort_values(by='時間')

  print(data.to_string(index=False))

圖片1

tags:
聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
10年以上業(yè)內(nèi)強師集結(jié),手把手帶你蛻變精英
請您保持通訊暢通,專屬學(xué)習(xí)老師24小時內(nèi)將與您1V1溝通
免費領(lǐng)取
今日已有369人領(lǐng)取成功
劉同學(xué) 138****2860 剛剛成功領(lǐng)取
王同學(xué) 131****2015 剛剛成功領(lǐng)取
張同學(xué) 133****4652 剛剛成功領(lǐng)取
李同學(xué) 135****8607 剛剛成功領(lǐng)取
楊同學(xué) 132****5667 剛剛成功領(lǐng)取
岳同學(xué) 134****6652 剛剛成功領(lǐng)取
梁同學(xué) 157****2950 剛剛成功領(lǐng)取
劉同學(xué) 189****1015 剛剛成功領(lǐng)取
張同學(xué) 155****4678 剛剛成功領(lǐng)取
鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
董同學(xué) 138****2867 剛剛成功領(lǐng)取
周同學(xué) 136****3602 剛剛成功領(lǐng)取
相關(guān)推薦HOT
軟件定制開發(fā)中的敏捷開發(fā)是什么?

軟件定制開發(fā)中的敏捷開發(fā)是什么軟件定制開發(fā)中的敏捷開發(fā),從宏觀上看,是一個高度關(guān)注人員交互,持續(xù)開發(fā)與交付,接受需求變更并適應(yīng)環(huán)境變化...詳情>>

2023-10-14 13:24:57
什么是PlatformIo?

PlatformIO是什么PlatformIO是一個全面的物聯(lián)網(wǎng)開發(fā)平臺,它為眾多硬件平臺和開發(fā)環(huán)境提供了統(tǒng)一的工作流程,有效簡化了開發(fā)過程,并能兼容各種...詳情>>

2023-10-14 12:55:06
云快照與自動備份有什么區(qū)別?

1、定義和目標(biāo)不同云快照的主要目標(biāo)是提供一種快速恢復(fù)數(shù)據(jù)的方法,它只記錄在快照時間點后的數(shù)據(jù)變化,而不是所有的數(shù)據(jù)。自動備份的主要目標(biāo)...詳情>>

2023-10-14 12:48:59
服務(wù)器為什么要用Linux?

服務(wù)器為什么要用Linux作為服務(wù)器操作系統(tǒng)的優(yōu)選,Linux在眾多選擇中脫穎而出。Linux作為服務(wù)器操作系統(tǒng)的優(yōu)選,有其獨特的優(yōu)勢和特點。包括其...詳情>>

2023-10-14 12:34:11
ORM解決的主要問題是什么?

ORM(對象關(guān)系映射)解決的主要問題是將關(guān)系數(shù)據(jù)庫與面向?qū)ο缶幊讨g的映射困境。在傳統(tǒng)的關(guān)系數(shù)據(jù)庫中,數(shù)據(jù)以表格的形式存儲,而在面向?qū)ο?..詳情>>

2023-10-14 12:26:19
快速通道
主站蜘蛛池模板: 韩日一区二区 | 蜜桃视频网站在线观看 | 亚洲一区二区视频在线观看 | 九色av | 综合久久一区二区三区 | 毛片a片 | 91精品国产综合久久久蜜臀图片 | 国产视频第一区 | 亚洲精品动漫久久久久 | 中文字幕一区二区三区不卡 | 国产精品国产三级国产aⅴ中文 | 97成人精品视频在线观看 | www.com91| 日韩精品一区二区三区在线 | 国产精品久久 | 黄色高清视频在线观看 | 久久av一区二区三区 | 国产真实精品久久二三区 | 91人人澡人人爽 | 国产一级免费网站 | 99精彩视频| 亚洲 成人 av| 日韩电影专区 | 国产美女啪啪 | 日本黄色一级片免费看 | 91精品国产高清久久久久久久久 | 久久九| 日韩中文字幕免费 | 国产精品欧美一区二区三区 | 在线观看国产 | 精品久久久久久久 | 欧美亚洲一区二区三区 | 国产福利久久 | 中文字幕久久精品 | 精品一区久久 | 爱爱视频在线 | 99国产精品 | 久久精品视频在线观看 | 国产成人精品亚洲777人妖 | 日韩毛片 | 亚洲91|