selenium+firefox爬取网易云如何点击下一页按钮

xzykgc4mc3

具体代码如下。
@詩、未詺 @ericdj @翼风Fly @genius2k @jasake
大概想法是这样，访问网易云音乐，然后，在搜索框键入“神话”，按回车，然后得到搜索结果的歌曲总数，底下有个下一页的按钮。等待按钮可点击状态，然后点击下一页。结果跳出的火狐浏览器并不会点击下一页按钮。是哪里错了。请各位大大指正。
下一页按钮，我是这么定位的，应该没错吧。但就是不能点击

1. next_page_button = wait.until(EC.element_to_be_clickable((By.XPATH, '//div[contains(@class, "u-page")]/a[contains(@class, "znxt")]')))
   
2. next_page_button.click()

复制代码

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. from selenium.webdriver.common.keys import Keys
   
4. from selenium.webdriver.support.ui import WebDriverWait
   
5. from selenium.webdriver.support import expected_conditions as EC
   
6. 
   
7. browser = webdriver.Firefox()
   
8. browser.get('https://music.163.com/')
   
9. wait = WebDriverWait(browser, 10)
   
10. input = wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="srchbg"]//input[@id="srch"]')))
    
11. input.clear()
    
12. input.send_keys('神话')
    
13. input.send_keys(Keys.ENTER)
    
14. browser.switch_to.frame('contentFrame')
    
15. songs_num_node = wait.until(EC.presence_of_element_located((By.XPATH, '//div[contains(@class, "snote")]')))
    
16. next_page_button = wait.until(EC.element_to_be_clickable((By.XPATH, '//div[contains(@class, "u-page")]/a[contains(@class, "znxt")]')))
    
17. next_page_button.click()

复制代码

jasake

xzykgc4mc3 发表于 2018-8-14 17:11
具体代码如下。
@詩、未詺 @ericdj @翼风Fly @genius2k @jasake
大概想法是这样，访问网易云音乐，然后 ...

这里有个坑，按钮在一个 frame 里面，应该要先切换吧

xzykgc4mc3

jasake 发表于 2018-8-14 19:59
这里有个坑，按钮在一个 frame 里面，应该要先切换吧

谢谢大侠。我上面这行代码正是切换了frame了。难道还有再嵌了一个frame。不是很懂
browser.switch_to.frame('contentFrame')

jasake

xzykgc4mc3 发表于 2018-8-14 20:14
谢谢大侠。我上面这行代码正是切换了frame了。难道还有再嵌了一个frame。不是很懂
browser.switch_to.frame('contentFrame')

是这个，刚才没看清楚

xzykgc4mc3

jasake 发表于 2018-8-14 20:29
是这个，刚才没看清楚

不过，切换之后，还是按不了下一页的按钮。

jasake

xzykgc4mc3 发表于 2018-8-14 21:18
不过，切换之后，还是按不了下一页的按钮。

frame 是不是也有延迟，也要等：
frame_to_be_available_and_switch_to_it

xzykgc4mc3

jasake 发表于 2018-8-14 21:55
frame 是不是也有延迟，也要等：
frame_to_be_available_and_switch_to_it

1. from selenium import webdriver
   
2. from selenium.webdriver.common.by import By
   
3. from selenium.webdriver.common.keys import Keys
   
4. from selenium.webdriver.support.ui import WebDriverWait
   
5. from selenium.webdriver.support import expected_conditions as EC
   
6. 
   
7. browser = webdriver.Firefox()
   
8. browser.get('https://music.163.com/')
   
9. wait = WebDriverWait(browser, 10)
   
10. input = wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="srchbg"]//input[@id="srch"]')))
    
11. input.clear()
    
12. input.send_keys('神话')
    
13. input.send_keys(Keys.ENTER)
    
14. browser.switch_to.frame('contentFrame')
    
15. songs_num_node = wait.until(EC.presence_of_element_located((By.XPATH, '//div[contains(@class, "snote")]')))
    
16. print(songs_num_node.text)
    
17. next_page_button = wait.until(EC.element_to_be_clickable((By.XPATH, '//div[contains(@class, "u-page")]/a[contains(@class, "znxt")]')))
    
18. next_page_button.click()

复制代码

我在切换browser.switch_to.frame('contentFrame')后，print(songs_num_node.text)打印出歌曲数量。这个节点也是在frame里的。能够成功打印。但就是下一页按钮不能根据next_page_button.click()点击

ericdj

不会啊，还没学会爬虫……

翼风Fly

抱歉，暂时先提供另一个思路，
你应该去Network里找请求，而不是找按钮何时出现触发。等延迟挺烦人的

B100D1E55

n年没用selenium了……不能用id么，比如你可以用chrome的selenium插件比如katalon recorder录制一下点button的events看看是怎么回事：
elements:



点下一页对应的events，发现click对应的是按钮对应的query id: