Scrapy Pipeline 保存 MySQL 完整代码
依赖:pymysql
pip install pymysql
1. items.py 定义数据模型
import scrapy
class DemoItem(scrapy.Item):
title = scrapy.Field()
url = scrapy.Field()
content = scrapy.Field()
2. pipelines.py MySQL 管道完整代码
3. settings.py 开启管道
ITEM_PIPELINES = {
"myspider.pipelines.MysqlPipeline": 300,
}
优先级数字:数值越小,管道越先执行。如果你同时还有其它 pipeline,注意顺序。
4. spider 中 yield 示例(spiders/xxx.py)