Вопросы с меткой [scrapy]
Scrapy - это высокоуровневый Python-фреймворк для парсинга данных с веб-сайтов, построенный на базе асинхронной библиотеки Twisted.
87 вопросов
- Конкурсные 0
- Неотвеченные
- Цитируемые
- Рейтинг
- Популярные
- За неделю
- За месяц
- Неотвеченные (мои метки)
0
голосов
0
ответов
70
показов
scrapy-playwright не работает через celery в проекте django
Такая проблема - мне необходимо приложение на Scrapy-playwright для парсинга некоторых сайтов. В данном случае - ББР банка (Задание учебное, поэтому валюты подсасываются парсингом - задание препода)
...
0
голосов
1
ответ
66
показов
Scrapy Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
Всем доброго дня!
Написал простенький паучек. Код ниже:
import scrapy
class SpiderProsyr(scrapy.Spider):
name = 'SpiderProsyr'
starturl = ['https://pro-syr.ru/zakvaski-dlya-syra/']
def ...
0
голосов
1
ответ
443
показа
Как обойти ошибку 403 через Scrapy?
Решил попробовать со скрапить карточки циан, но при запуске scrapy shell и потом fetch('https://kazan.cian.ru/cat.php?deal_type=sale&engine_version=2&offer_type=flat&p=1®ion=4777&...
0
голосов
1
ответ
81
показ
Парсинг данных столбцов таблицы HTML с помощью scrapy и xpath
Нужно сделать паука, который будет следующие данные по странам:
'#' (Стартовая страница)
Страна (Стартовая страница)
Население (Стартовая страница)
Городское население (Страницы стран)
Мировое ...
0
голосов
1
ответ
137
показов
Как отправлять get-запрос на получение json файла через фреймворк scrapy?
Пытаюсь написать парсер изображений с pinterest используя фреймворк scrapy, сайт подтягивает изображения динамически, методом тыка был найдет json файл в котором хранятся ссылки на изображения, ...
0
голосов
1
ответ
89
показов
Не могу перезапустить spider (scrapy) для регулярного парсинга веб-сайта
Мой код:
def start_parce():
process = CrawlerProcess(get_project_settings())
process.crawl(SpiderCardSpider)
settings = process.settings
settings.set("FEEDS", {
"...
0
голосов
0
ответов
54
показа
Scrapy парсит не все товары
from typing import Iterable, Any
import scrapy
from scrapy import Request
from scrapy.http import Response
class CatalogSpider(scrapy.Spider):
name = "catalog"
allowed_domains = ["art-...
0
голосов
0
ответов
75
показов
Python поиск по элементам
Почему выдает один элемент, если есть цикл ? И как получить текст по всем элементам ?
import requests_html
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from ...
0
голосов
1
ответ
149
показов
Персинг не переходит на следующую страницу
Есть код парсинга сайта с помощью scrapy crawl
import scrapy
class OstrovSpider(scrapy.Spider):
name = "ostrov"
allowed_domains = ['ostrov-shop.by']
start_urls = [
"...
1
голос
0
ответов
195
показов
Как подключиться рабочему репозиторий на GitHub на котором уже есть и запушить свой проект туда?
Я Новичок еще и до этого момента работал со своим репозиторием. Сейчас пригласили в компанию. Сейчас стала такая проблема:
работал локально - результат готовый проект локально в директории
по запросу ...
0
голосов
1
ответ
1k
показов
Kак получить параметр qrator_jsid и cookes сайт www.auchan.ru?
Парсер написан на Scrapy. Сайт www.auchan.ru. Не могу понять, как получить свежий параметр qrator_jsid или свежие cookies сразу при запуске.
Со старта куки я беру с сайта сам, ложу их в модуль и ...
0
голосов
1
ответ
123
показа
Как спарсить данные если их нет в html? [закрыт]
Мне нужно спарсить эту страничку https://www.flashscore.com/match/ETiJbUxd/#/h2h/overall
Скачал html сайта но там нет нужных данных ( голы, прошлые игры итд)
Вместо них какой то js скрипт
пытался ...
0
голосов
1
ответ
221
показ
Не работает парсер, когда посылаю гет запрос
Решил сделать парсер, вот код парсера. Проблема в том что когда отправляю get запрос, то приходит странный html код, хотя статус код 200. Ещё и ни один тег не ищется почему то.
from requests import ...
0
голосов
0
ответов
37
показов
Чем лучше проводить регистрацию на сайте?
Делал регистрацию через selenium питон и задался вопросом, если способ сделать этот процесс быстрее?
Мб другие библиотеки такие как requests или scrapy фрейм?
0
голосов
0
ответов
67
показов
Парсинг - не могу спарсить определенный сайт
Я новичок в парсинге, сейчас столкнулся с такой проблемой, когда пытаюсь спарсить всю страницу "https://ru.wargaming.net/shop/wot/vehicles/", получаеться вот такое:
<html>
<head>
...