selenium+firefox爬取网易云如何点击下一页按钮

xzykgc4mc3

B100D1E55 发表于 2018-8-18 23:23
n年没用selenium了……不能用id么，比如你可以用chrome的selenium插件比如katalon recorder录制一下点butto ...

next_page_button = wait.until(EC.element_to_be_clickable((By.XPATH, '//div[contains(@class, "u-page")]/a[contains(@class, "znxt")]')))
next_page_button.click()
我感觉这么写也没错。也没报错。就是点击不了

B100D1E55

xzykgc4mc3 发表于 2018-8-18 23:40
next_page_button = wait.until(EC.element_to_be_clickable((By.XPATH, '//div[contains(@class, "u-pag ...

嗯我没看到什么问题，估计要实际写一下脚本才能发现问题在哪里
不过我觉得先获取id然后click对应id说不定可以，不妨换一个方法试试看

axiuluo000

不懂selenium，不能直接requests之类的爬取吗，不过的确很好奇这种页码不出现在url里的要怎么办。试试selenium能不能点第二页？

看了下，直接爬要params和encSecKey两个值去POST，这东西加密过，知乎有人解开了，不过挺烦的

xzykgc4mc3

axiuluo000 发表于 2018-8-19 01:34
不懂selenium，不能直接requests之类的爬取吗，不过的确很好奇这种页码不出现在url里的要怎么办。试试selen ...

给个知乎链接看看。。我也有找到关于这个js解密的一些链接。想参考着看看

xzykgc4mc3

B100D1E55 发表于 2018-8-19 00:05
嗯我没看到什么问题，估计要实际写一下脚本才能发现问题在哪里
不过我觉得先获取id然后click对应i ...

通过id来定位，好像不行。auto-id-l9RpbZW1ttIM4t8R这个后面的l9RpbZW1ttIM4t8R，貌似会变化。
见这两张图画



相反，我把代码保持原样。倒是可以定位到下一页按钮，并输出下一页按钮的文本。就是next_page_button.click()代码无效，依旧点击不了。

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. from selenium.webdriver.common.keys import Keys
   
4. from selenium.webdriver.support.ui import WebDriverWait
   
5. from selenium.webdriver.support import expected_conditions as EC
   
6. 
   
7. browser = webdriver.Firefox()
   
8. browser.get('https://music.163.com/')
   
9. wait = WebDriverWait(browser, 10)
   
10. input = wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="srchbg"]//input[@id="srch"]')))
    
11. input.clear()
    
12. input.send_keys('神话')
    
13. input.send_keys(Keys.ENTER)
    
14. wait.until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR, '#g_iframe')))
    
15. #browser.switch_to.frame('contentFrame')
    
16. #等待搜索结果歌曲数量节点加载
    
17. songs_num_node = wait.until(EC.presence_of_element_located((By.XPATH, '//div[contains(@class, "snote")]')))
    
18. print(songs_num_node.text)
    
19. #定位下一页按钮
    
20. next_page_button = browser.find_element(By.XPATH, '//div[contains(@class, "u-page")]/a[contains(@class, "znxt")]')
    
21. print(next_page_button.text)
    
22. next_page_button.click()

复制代码

我想着定位第2页的按钮，换成这样，能正常执行print(next_page_button.text)。也没报错。不过也同样没有点击第2页。

1. next_page_button = browser.find_element(By.XPATH, '//div[contains(@class, "u-page")]/a[text()=2]')
   
2. print(next_page_button.text)
   
3. next_page_button.click()

复制代码

L.P.

不知道我理解的对不对，我是这样的，等待搜索框DOM加载>输入关键字并回车>等待frame且switch进去(不然没法点单曲)>等待选项卡渲染进DOM树>点击单曲选项卡>等待下一页DOM渲染>滚屏>如果你在这里不滚屏不在可视范围好像点击下一页是不生效的，好了这时候点下一页，等待搜索结果，下一页，等待结果如此循环

很多地方不严谨如有错，纯属测试不严谨，请不要在意OOP部分，你可关注main部分，Wait很重要!

1. import time
   
2. import threading
   
3. from selenium import webdriver
   
4. from selenium.webdriver.common.keys import Keys
   
5. from selenium.webdriver.chrome.options import Options
   
6. from selenium.webdriver.support.wait import WebDriverWait
   
7. from selenium.webdriver.support import expected_conditions as EC
   
8. from selenium.webdriver.common.by import By
   
9. from selenium.webdriver.common.action_chains import ActionChains
   
10. 
    
11. 
    
12. class Singleton(object):
    
13.     instance = None
    
14. 
    
15.     def __new__(cls, base_url, browser='chrome'):
    
16.         if cls.instance is None:
    
17.             i = object.__new__(cls)
    
18.             cls.instance = i
    
19.             cls.base_url = base_url
    
20.             cls.browser = browser
    
21.             if browser == "firefox":
    
22.                 # 创建一个单列的 Firefox driver
    
23.                 cls.driver = webdriver.Firefox()
    
24.             elif browser == "chrome":
    
25.                 # 创建一个单列的 Chrome driver
    
26.                 chrome_options = Options()
    
27.                 # chrome_options.add_argument('--disable-gpu')  # 谷歌文档提到需要加上这个属性来规避bug
    
28.                 # chrome_options.add_argument('--disable-software-rasterizer')
    
29.                 chrome_options.add_argument('blink-settings=imagesEnabled=false')  # 不加载图片, 提升速度
    
30.                 cls.driver = webdriver.Chrome(chrome_options=chrome_options)
    
31.             else:
    
32.                 # 不在支持范围内.
    
33.                 print("只支持 Firefox 或 Chrome!")
    
34.         else:
    
35.             i = cls.instance
    
36.         return i
    
37. 
    
38. 
    
39. class InstanceWebDriver(Singleton):
    
40. 
    
41.     def __init__(self, base_url):
    
42.         self.base_url = base_url
    
43. 
    
44.     def webdriver_wait_until(self, timeout, poll_frequency, method, message='WebDriverWaitUntil超时!'):
    
45.         value = None
    
46.         try:
    
47.             value = WebDriverWait(self.driver, timeout, poll_frequency).until(method, message)
    
48.         except Exception as e:
    
49.             print(e)
    
50.             self.close()
    
51.         finally:
    
52.             return value
    
53. 
    
54.     def webdriver_wait_until_not(self, timeout, poll_frequency, method, message='WebDriverWaitUntilNot超时!'):
    
55.         value = None
    
56.         try:
    
57.             value = WebDriverWait(self.driver, timeout, poll_frequency).until_not(method, message)
    
58.         except Exception as e:
    
59.             print(e)
    
60.             self.close()
    
61.         finally:
    
62.             return value
    
63. 
    
64.     def implicitly_wait(self, seconds=60):
    
65.         self.driver.implicitly_wait(seconds)
    
66. 
    
67.     def get(self):
    
68.         self.driver.get(self.base_url)
    
69. 
    
70.     def find_element(self, locator, strategies):
    
71.         return self.driver.find_element(locator, strategies)
    
72. 
    
73.     def find_element_by_xpath(self, strategies):
    
74.         return self.driver.find_element_by_xpath(strategies)
    
75. 
    
76.     def find_element_by_css_selector(self, strategies):
    
77.         return self.driver.find_element_by_css_selector(strategies)
    
78. 
    
79.     def find_elements_by_class_name(self, strategies):
    
80.         return self.driver.find_elements_by_class_name(strategies)
    
81. 
    
82.     def find_element_by_id(self, id):
    
83.         return self.driver.find_element_by_id(id)
    
84. 
    
85.     def find_element_by_link_text(self, link_text):
    
86.         return self.driver.find_element_by_link_text(link_text)
    
87. 
    
88.     def actionchains_by_sendkeys(self, keys_to_send):
    
89.         ActionChains(self.driver).send_keys(keys_to_send).perform()
    
90. 
    
91.     def close(self):
    
92.         if not self.driver is None:
    
93.             self.driver.close()
    
94.             self.driver.quit()
    
95. 
    
96. 
    
97. def main():
    
98.     instancewebdriver = InstanceWebDriver("https://music.163.com/#/search/m/?s=凉凉&type=100")
    
99.     instancewebdriver.get()
    
100.     instancewebdriver.webdriver_wait_until(60, 0.5, EC.presence_of_element_located((By.ID, 'srch')), "等待'搜索框'超时!")
     
101.     srch = instancewebdriver.find_element_by_id('srch')
     
102.     srch.clear()
     
103.     srch.send_keys('神话')
     
104.     srch.send_keys(Keys.ENTER)
     
105.     instancewebdriver.webdriver_wait_until(60, 0.5, EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR, '#g_iframe')),
     
106.                                      "等待'搜索结果IFRAME'超时!")
     
107.     instancewebdriver.webdriver_wait_until(60, 0.5, EC.presence_of_element_located((By.CLASS_NAME, 'fst')), "等待'选项卡单曲'超时!")
     
108. 
     
109.     tab_type1 = instancewebdriver.find_element_by_css_selector("li.fst>a")
     
110.     tab_type1.click()
     
111.     instancewebdriver.webdriver_wait_until(60, 0.5, EC.presence_of_element_located((By.LINK_TEXT, '下一页')), "等待'下一页'DOM渲染超时!")
     
112.     instancewebdriver.actionchains_by_sendkeys(Keys.END)
     
113.     is_displayed = instancewebdriver.webdriver_wait_until(60, 0.5, EC.visibility_of_element_located((By.LINK_TEXT, '下一页')),
     
114.                                                     "等待'下一页'可见状态超时!")
     
115.     if is_displayed:
     
116.         for i in range(17):
     
117.             # 当前页数
     
118.             number_page_btn = instancewebdriver.find_element_by_xpath("//a[contains(@class, 'js-selected')]")
     
119.             print(number_page_btn.text)
     
120.             nextpage_btn = instancewebdriver.find_element_by_link_text('下一页')
     
121.             nextpage_btn.click()
     
122.             print(nextpage_btn.text)
     
123.             instancewebdriver.webdriver_wait_until(60, 2, EC.presence_of_element_located((By.CLASS_NAME, "sn")),
     
124.                                              "等待'搜索结果列表'超时!")
     
125. 
     
126. if __name__ == '__main__':
     
127.     main()
     

复制代码