从init谈起

Linux系统下有3个特殊的进程:

• idle进程: 由 操作系统自动创建，运行在内核态，pid为0。
• init进程: 由 idle通过kernel_thread创建，pid为1，在内核空间完成初始化后，加载init程序(现在大多系统使用的是systemd程序，稍早的系统使用sysvinit或者upstart程序)，并最终在用户空间运行。
• kthreadd进程: 由 idle通过kernel_thread创建，pid为2，始终运行在内核空间，负责所有内核线程的调度和管理。

对豆瓣上的电影详细信息进行爬取，使用到的框架是 Scrapy。效率为24h爬取十万多部(效率可能不太高…)。记录一下爬取的过程和遇到的问题。

代码放在github：https://github.com/Alfonsxh/Spider

对于CPU密集型程序来说，使用Python作为开发工具，是一个失败的尝试，因为 GIL(Global Interpreter Lock)。

GIL 译为 全局解释器锁。是的，是 解释器锁。

SqlAlchemy(Sql炼金术？) 是Python下的一款 ORM(Object Relational Mapping 对象关系映射)框架，框架建立在数据库API之上，使用关系对象映射进行数据库操作。将对象转换为sql，然后调用数据库API执行sql并获取结果。

Python 的装饰器模式通过 语法糖 实现，相较于其他语言的装饰器模式，十分的优雅。

__slots__

在python中，我们可以在实例化对象后绑定对象的方法或属性：

安装

1

pip install scrapy