Scrapy带有自己的数据提取机制,称为选择器。scrapy有xpath
和css
两种选择器。XPath 是一种在XML文档中选择节点的语言,也可以与HTML一起使用。 CSS 是用于将样式应用于HTML文档的语言。它定义选择器,将这些样式与特定的HTML元素相关联。 阅读全文
Aug 15, 2019 访问量 ( - ) 评论数 () #Scrapy
Scrapy是通过scrapy
命令行工具进行控制的。 这里我们称之为 Scrapy tool
以用来和子命令进行区分。 对于子命令,我们称为 “command” 或者 “Scrapy commands”。 阅读全文
Aug 14, 2019 访问量 ( - ) 评论数 () #Scrapy
在配置scrapy时,出现Fatal error in launcher: Unable to create process using '"c:\bld\scrapy_1564674375870\_h_env\python.exe" "D:\anaconda\envs\PY37\Scripts\scrapy.exe" '
阅读全文
Aug 12, 2019 访问量 ( - ) 评论数 () #Error
Scrapy是一个用于爬取网站并提取结构化数据的应用程序框架,可用于各种有用的应用程序,例如数据挖掘,信息处理或历史档案。 阅读全文
Aug 12, 2019 访问量 ( - ) 评论数 () #Scrapy
分区表
在逻辑上为一个表,在物理上存储在多个文件中。 阅读全文
Aug 9, 2019 访问量 ( - ) 评论数 () #mySQL
在上小节制定了数据库开发规范后,这小节之后将开始数据库电商项目实战。在电商实战项目中我们一共涉及用户模块
、商品模块
、订单模块
、仓储模块
。本次测试所用的数据库版本mysql 5.7
阅读全文
Aug 8, 2019 访问量 ( - ) 评论数 () #mySQL
在掌握数据库设计规范后,小菜个人认为有必要知道数据库的基本概念。 阅读全文
Aug 7, 2019 访问量 ( - ) 评论数 () #mySQL
编写本规范的目的是为了统一数据库命名风格,提高SQL的可读性、可重用性,确保在开发成员或开发团队之间的工作可以顺利交接,不必花很大的力气便能理解已编写的数据库对象;遵守某些规范也能提升性能,提高程序的稳定性。 阅读全文
Aug 6, 2019 访问量 ( - ) 评论数 () #mySQL
视图函数返回与普通函数的返回不同,视图函数返回的是一个response
对象。 阅读全文
Jul 12, 2019 访问量 ( - ) 评论数 () #Flask
在之前代的demo中看到app.run()
,然后启动一个应用程序,通过localhost:5000
就能访问我们的视图函数。我们每次更改代码就需要手动重启,还有就是外网不能访问,或者同局域网其他机器不能访问,这些原因都藏在app.run()
方法参数中。 阅读全文
Jul 11, 2019 访问量 ( - ) 评论数 () #Flask
现代 web 应用都使用有意义的 URL ,这样有助于用户记忆,网页会更得到用户的青睐, 提高回头率。 阅读全文
Jul 10, 2019 访问量 ( - ) 评论数 () #Flask
上小节我们搭建Flask环境并且写了一个Flask最小应用。接下来讲讲Flask中的URL,在讲解之前,需要了解web的URL后面加’/’和不加’/’有什么区别。请小伙伴思考下面两个链接有什么区别? 阅读全文
Jul 9, 2019 访问量 ( - ) 评论数 () #Flask
Flask是一个使用Python编写的轻量级Web应用框架
。基于Werkzeug
WSGI工具箱和Jinja2
模板引擎。 阅读全文
Jul 8, 2019 访问量 ( - ) 评论数 () #Flask
with 语句适用于对资源进行访问的场合,确保不管使用过程中是否发生异常都会执行必要的清理
操作,释放资源,比如文件使用后自动关闭、线程中锁的自动获取和释放等。 阅读全文
Jul 6, 2019 访问量 ( - ) 评论数 () #Python
Jul 5, 2019 访问量 ( - ) 评论数 () #Python
装饰器本质上是一个 Python 函数或类,它可以让其他函数或类在不需要做任何代码修改的前提下增加额外功能,装饰器的返回值也是一个函数/类对象。它经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等场景,装饰器是解决这类问题的绝佳设计。有了装饰器,我们就可以抽离出大量与函数功能本身无关的雷同代码到装饰器中并继续重用。概括的讲,装饰器的作用就是为已经存在的对象添加额外的功能。 阅读全文
Jul 4, 2019 访问量 ( - ) 评论数 () #Python
闭包是什么?小菜很难用一句话说明或者用白话文概括。我们先看看其他语言是怎么定义闭包的。 阅读全文
Jul 3, 2019 访问量 ( - ) 评论数 () #Python
enum
模块定义了一个具备可迭代性和可比较性的枚举类型。 它可以为值创建具有良好定义的标识符,而不是直接使用字面上的字符串或者整数 阅读全文
Jul 2, 2019 访问量 ( - ) 评论数 () #Python
json是一种轻量级的数据交换格式。在python中使用json需要先导入json包
。 阅读全文
Jul 1, 2019 访问量 ( - ) 评论数 () #Python
正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。在python中使用正则需要先引入正则模块re
。 阅读全文
Jun 30, 2019 访问量 ( - ) 评论数 () #Python