scrapy爬虫部署(scrapy管理)

参考 https://piaosanlang.gitbooks.io/spiders/05day/section5.3.html 网址源文件 使用scrapyd 管理爬虫 · 网络爬虫教程 常用: 开启: curl https:///schedule.json -d project=default -d spider=btspider 本次开启使用 curl https://blog.wktadmin.com/scrapyd/schedule.json -d project=default -d spider=btspider 关闭 curl https://blog.wktadmin.com/scrapyd/cancel.json -d ...

Centos7 yum安装Python3.6环境

安装EPEL和IUS软件源 yum install epel-release -y yum install https://centos7.iuscommunity.org/ius-release.rpm -y 安装Python3.6 yum install python36u -y 创建python3连接符 ln -s /bin/python3.6 /bin/python3 安装pip3 yum install python36u-pip -y 创建pip3链接符 ln ...

mysql如何支持emoji/原文: mysql数据库中utf8与utf8mb4的区别:记一次sqlalchemy的InternalError

遇到的问题 使用sqlalchemy执行下面语句的时候包错了。 insert into datasource value('YnWZ8Q4928ruM4z63I+9IQ==','','盖乐世社区','S8','刚刚看到一个贴,特搞笑。这头说完下面就有人评论打脸了😂 bixby不说最好,但怎么说也是在现有的语音技术基础上面提升一大步。(注意:现有的技术基础提升)真的搜不出来的话可能也许大概是输入的命令不对而已,可以换一句话试一试嘛。都说了bixby更人性化一点,肯定跟其他的不一样的嘛。当然,所有的语音都不说最好的,还有待提升。 好了,屁话不多说,回到我们图上这位小哥,估计是果粉,然后尝新鲜买了个s8。但还是偏向iPhone吧应该,然后一肚子火跑来撒气。但是!!我们看到评论这边,哈哈哈,秒打脸','2017-12-14','负向','http://www.galaxyclub.cn/thread-445992-4-61.html') 错误类型是InternalError,错误信息 sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1366, "Incorrect string value: '\\xF0\\x9F\\x98\\x82\\x09b...' for column 'content' at row 1") [SQL: "insert into datasource ...

supervisor进程管理

以supervisor管理celery进程为例 一 安装supervisor 二 配置 三 启动和关闭 四 打开web监听 安装supervisor python3 无法直接使用pypi源安装, 使用 pip3 install git+https://github.com/Supervisor/supervisor 配置 生成默认的配置文件 echo_supervisord_conf > /etc/supervisord.conf 添加自定义配置 在生成的conf文件最后添加 [program:tiis_is_name] command=/home/wukt/.virtualenvs/p3.6/bin/celery worker ...

常用

已有密钥生成公钥 openssl rsa -in app_private_key.pem -put app_public.pem 支付宝回调参数 ipdb> request.form ImmutableMultiDict([('gmt_create', '2018-11-06 17:24:31'), ('charset', 'utf-8'), ('gmt_payment', '2018-11-06 17:24:46'), ('notify_time', '2018-11-06 17:24:47'), ('subject', 'elllfjdl'), ('sign', 'rB/dXq+3IkqGwMSSOG1DpiGzGGfe2L7nTBNP+XGVhDiHzL1rRGCXQfIrApd+05d9hP/sfAq+sSB+PvvMbKxGDBPNWFEBKiFj5pzo+bnDiUMF6MDGaV2M7OCq8xkr/sl4yPYv/GhqT7I3TUYRgqdrW8mvPC7EBupW0TWgBX4ghb7F8FX47EJCkUYCprbHZX/hW0GxJtGxYxq6s+3qeDktICaOk9c4jsKoZDHMpCZfoco6/Rec8g7nnRRORiWxYX/YQF5tsLowzmz1I7owRL6m2pB1ccfH3NVEQdfScToEgl5D9D5Xl7VEa2eWoDQm5NocUuuFfkUXsY7fOryLtoh/UA=='), ('buyer_id', ...

Alembic隐藏数据库配置信息

Alembic数据库迁移使用参考: https://blog.csdn.net/deerlux/article/details/50181997 此迁移工具的详细配置信息在alembic.ini文件中, 其中包括 sqlalchemy.url = driver://user:[email protected]/dbname 为了防止不小心将密码信息提交, 可将此行删除,并修改alembic/env.py: import sys sys.path.append(os.path.realpath('.')) from planet.common.base_model import DB_PARAMS from planet import models # this is the Alembic Config ...

ctrlp.vim, ack.vim, syntastic快捷键速查

一. ctrlp.vim ctrlp.vim可以模糊查询定位:工程下的所有文件,打开的buffer,buffer内的tag,最近访问的文件. 进入搜索模式后的快捷键: * <f5> 更新目录缓存。 * <c-f> / <c-b> 在模式之间切换 * <c-d> 在”完整路径匹配“ 和 ”文件名匹配“ 之间切换 * <c-r> 在“字符串模式” 和 “正则表达式模式” 之间切换 * <c-j> ...

sentry with flask

sentry 安装过程参考: centos7下部署sentry日志管理服务 flask 配置 from raven.contrib.flask import Sentry sentry = Sentry(app, dsn='YOUR_DSN_HERE') 或者,如果使用了工厂,那么可以在稍后初始化: from raven.contrib.flask import Sentry sentry = Sentry(dsn='YOUR_DSN_HERE') def create_app(): app = Flask(__name__) ...

我们立足于美利坚合众国,对全球华人服务,受北美法律保护