最新帖子

Scrapy Item(4)

抓取的主要目的是从非结构化源(通常是网页)中提取结构化数据。Scrapy Spider可以将提取的数据作为Python字典返回。Python字典虽然方便且熟悉,但缺乏结构:很容易在字段名称中输入错误或返回不一致的数据,尤其是在具有许多蜘蛛的大型项目中。 阅读全文

Scrapy 选择器(3)

Scrapy带有自己的数据提取机制,称为选择器。scrapy有xpathcss两种选择器。XPath 是一种在XML文档中选择节点的语言,也可以与HTML一起使用。 CSS 是用于将样式应用于HTML文档的语言。它定义选择器,将这些样式与特定的HTML元素相关联。 阅读全文

Scrapy 命令行工具(2)

Scrapy是通过scrapy 命令行工具进行控制的。 这里我们称之为 Scrapy tool以用来和子命令进行区分。 对于子命令,我们称为 “command” 或者 “Scrapy commands”。 阅读全文

scrapy Fatal error in launcher

在配置scrapy时,出现Fatal error in launcher: Unable to create process using '"c:\bld\scrapy_1564674375870\_h_env\python.exe" "D:\anaconda\envs\PY37\Scripts\scrapy.exe" ' 阅读全文

Scrapy 安装并创建运行爬虫项目(1)

Scrapy是一个用于爬取网站并提取结构化数据的应用程序框架,可用于各种有用的应用程序,例如数据挖掘,信息处理或历史档案。 阅读全文

mysql 分区(4)

分区表在逻辑上为一个表,在物理上存储在多个文件中。 阅读全文

mysql 用户模块设计(3)

在上小节制定了数据库开发规范后,这小节之后将开始数据库电商项目实战。在电商实战项目中我们一共涉及用户模块商品模块订单模块仓储模块。本次测试所用的数据库版本mysql 5.7 阅读全文

mysql 数据库范式(2)

在掌握数据库设计规范后,小菜个人认为有必要知道数据库的基本概念。 阅读全文

mysql 数据库设计规范(1)

编写本规范的目的是为了统一数据库命名风格,提高SQL的可读性、可重用性,确保在开发成员或开发团队之间的工作可以顺利交接,不必花很大的力气便能理解已编写的数据库对象;遵守某些规范也能提升性能,提高程序的稳定性。 阅读全文

Flask 视图函数返回(5)

视图函数返回与普通函数的返回不同,视图函数返回的是一个response对象。 阅读全文

Flask app.run参数(4)

在之前代的demo中看到app.run(),然后启动一个应用程序,通过localhost:5000就能访问我们的视图函数。我们每次更改代码就需要手动重启,还有就是外网不能访问,或者同局域网其他机器不能访问,这些原因都藏在app.run()方法参数中。 阅读全文

Flask 路由(3)

现代 web 应用都使用有意义的 URL ,这样有助于用户记忆,网页会更得到用户的青睐, 提高回头率。 阅读全文

Flask URL(2)

上小节我们搭建Flask环境并且写了一个Flask最小应用。接下来讲讲Flask中的URL,在讲解之前,需要了解web的URL后面加’/’和不加’/’有什么区别。请小伙伴思考下面两个链接有什么区别? 阅读全文

Flask 准备工作(1)

Flask是一个使用Python编写的轻量级Web应用框架。基于Werkzeug WSGI工具箱和Jinja2模板引擎。 阅读全文

Python with(22)

with 语句适用于对资源进行访问的场合,确保不管使用过程中是否发生异常都会执行必要的清理操作,释放资源,比如文件使用后自动关闭、线程中锁的自动获取和释放等。 阅读全文

Python 杂记(21)

1.列表推导式

阅读全文

Python 装饰器(20)

装饰器本质上是一个 Python 函数或类,它可以让其他函数或类在不需要做任何代码修改的前提下增加额外功能,装饰器的返回值也是一个函数/类对象。它经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等场景,装饰器是解决这类问题的绝佳设计。有了装饰器,我们就可以抽离出大量与函数功能本身无关的雷同代码到装饰器中并继续重用。概括的讲,装饰器的作用就是为已经存在的对象添加额外的功能。 阅读全文

Python 闭包(19)

闭包是什么?小菜很难用一句话说明或者用白话文概括。我们先看看其他语言是怎么定义闭包的。 阅读全文

Python 枚举(18)

enum模块定义了一个具备可迭代性和可比较性的枚举类型。 它可以为值创建具有良好定义的标识符,而不是直接使用字面上的字符串或者整数 阅读全文

Python json(17)

json是一种轻量级的数据交换格式。在python中使用json需要先导入json包阅读全文