Как получить изображения из ссылки?
Когда я пытаюсь добраться до тега image через этот код, я получаю следующий вывод.
url = 'https://paytm.com/shop/p/pepe-jeans-blue-slim-fit-t-shirts-APPPEPE-JEANS-BSETU2010438B648267'
def soup_maker(url):
r = requests.get(url)
markup = r.content
soup = bs(markup, "html.parser")
return soup
def get_images(url):
soup = soup_maker(url)
divs = soup.find_all('div', {'class': 'fixed-height'})
print(divs)
images = soup.find_all('img')
print(images)
Вывод
[]
[<img alt="{{::product.text}}" ng-src="{{::product.image_url}}"/>,
<img alt="{{item.title}}" ng-src='{{cart.imgResized(item.image_url,"50x50") }}'/>,
<img ng-src="{{pixelSource}}"/>]
Но когда я вижу сквозь проверяемый элемент его там нет. Я не знаю, как сохранить эти изображения.
Обновление
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
def soup_maker(url):
driver = webdriver.Chrome()
driver.get(url)
try:
element = WebDriverWait(driver, 20).until(
EC.presence_of_element_located((By.CLASS_NAME, "fixed-height"))
)
markup = driver.page_source
soup = bs(markup, "html.parser")
return soup
finally:
driver.quit()
driver.close()
Выше работал на меня.
1 ответ:
Это выглядит как шаблон AngularJS с определенными привязками, что означает, что сайт нуждается в реальном браузере с движком javascript для визуализации. Давайте оставим часть разбора как есть, но вместо
requests
, получим источник черезselenium
:from selenium import webdriver def soup_maker(url): driver = webdriver.Firefox() # could also be Chrome(), PhantomJS() or other driver.get(url) # you might also need an Explicit Wait here to wait for the page to load # see http://selenium-python.readthedocs.org/waits.html#explicit-waits markup = driver.page_source driver.close() soup = bs(markup, "html.parser") return soup