1
1
Fork
You've already forked crawler-script
0
No description
This repository has been archived on 2024年08月10日. You can view files and clone it, but you cannot make any changes to its state, such as pushing and creating new issues, pull requests or comments.
  • Python 96.8%
  • Shell 1.7%
  • Dockerfile 1.5%
2023年01月26日 22:04:09 +00:00
justext Remove white space from URLs 2023年01月26日 22:04:09 +00:00
docker-compose.yml Fix name 2023年01月17日 19:11:21 +00:00
Dockerfile Dockerize 2023年01月17日 19:09:11 +00:00
entrypoint.sh Dockerize 2023年01月17日 19:09:11 +00:00
LICENSE Initial commit 2023年01月04日 21:55:16 +00:00
main.py Crawl a site 2023年01月25日 22:12:08 +00:00
poetry.lock Fix pyproject.toml 2023年01月16日 13:26:57 +00:00
pyproject.toml Fix pyproject.toml 2023年01月16日 13:26:57 +00:00
README.md Update README.md 2023年01月17日 21:46:13 +00:00

Mwmbl Crawler Script

Usage:

python main.py [-j n] [-u url1 url2 ...]

where n is the number of threads you want to run in parallel. If you specify URLs using the -u option, then just those URLs will be crawled instead of retrieving batches from the server.

Installing

Clone this repo, install poetry if necessary, cd into the repo and type

poetry install
poetry shell

then the main.py command as documented above.