对豆瓣上的电影详细信息进行爬取，使用到的框架是 Scrapy。效率为24h爬取十万多部(效率可能不太高…)。记录一下爬取的过程和遇到的问题。

代码放在github：https://github.com/Alfonsxh/Spider

对于CPU密集型程序来说，使用Python作为开发工具，是一个失败的尝试，因为 GIL(Global Interpreter Lock)。

GIL 译为 全局解释器锁。是的，是 解释器锁。

SqlAlchemy(Sql炼金术？) 是Python下的一款 ORM(Object Relational Mapping 对象关系映射)框架，框架建立在数据库API之上，使用关系对象映射进行数据库操作。将对象转换为sql，然后调用数据库API执行sql并获取结果。

Python 的装饰器模式通过 语法糖 实现，相较于其他语言的装饰器模式，十分的优雅。

__slots__

在python中，我们可以在实例化对象后绑定对象的方法或属性：

安装

1

pip install scrapy

在处理Json字符串时，当在Json原始数据中出现某些 空格 时，可能会出现 json.decoder.JSONDecodeError 的错误。