我想在此網站上的貨幣對下抓取所有貨幣選項卡:https://markets.businessinsider.com/currencies.然而,當我加載頁面US-Dollar時,我只能獲得默認情況下處于活動狀態的貨幣對。如何使用Beautifulsoup訪問其余項目?
使用下面的代碼,我得到了所有的US-dollar對,但沒有得到其他的對。
from bs4 import BeautifulSoup
response = requests.get("https://markets.businessinsider.com/currencies")
response.raise_for_status()
soup = BeautifulSoup(response.content, "html.parser")
currencyTags = soup.find_all("td", class_="table__td bold")
print(currencyTags)```
你不能使用bs4(除非你用支持JavaScript和與頁面自動交互的東西來獲取html,比如selenium),但你可以從網站獲取數據的同一API請求數據(查看網絡日志的屏幕截圖)。
例如,對于日元:
或者獲取所有選項卡: