24

5月

【解决方法】ModuleNotFoundError: No module named 'flask._compat'

起源        最近发下很多人在我的python课程下面提问，关于安装完扩展运行程序的时候出现如下的莫名其妙的错误Traceback (most recent call last):   File "manage_web.py", line 2, in     from application import app,manager   File "/data/www/private_deploy/python3_yuanwei/application.py", line 3, in    &

27

8月

【Selenium学习笔记】分布式部署

为什么需要分部署部署        对于一般数据量不太或者对浏览器要求不多样化没必要多台机器部署。多台机器部署主要解决以下。数据量比较大，一台机器无法承受所有的请求需要不同的浏览器环境可远程调用，把业务代码和浏览器操作分离环境准备        我们需要提前准备多台机器（可以是虚拟机）。由于是java的所以需要配置相对来说搞一些，个人建议最低2核4G主机名IP配置描述test-001192.168.40.52核4G主节点 + 任务节点（chromedriver + chrome浏览器）test-002192.168.40.62核4G任务节点（chromedriver + chrome浏览器）开始部署架构下载        官方下载地址：https://www.seleni

18

9月

【Selenium学习笔记】网页截图实践

　　缘由    我们有一个产品牵扯到核查数据，在核查数据过程中会发现有一些违规网站，这一些违规网站我们要进行截图保留证据。如果是人工截图就非常麻烦，需要截图之后上传到系统，增加了大家的工作量，我们就想着试着程序自动化截图解决方案    由于我们爬虫都使用的python selenium 调用的chrome无头浏览器，所以我们依然选择了selenium调用chrome进行截图。截图核心代码如下，非常简单###核心代码如下 driver.get( url ) #初始化一个屏幕大小 driver.set_window_size(1400, 900) ##通过脚本获取页面宽和高，设置窗口大小 width = driver.execute_script("return document.documentElement.scrollWidth"

24

4月

【Selenium学习笔记】介绍和安装

　　缘由        目前由于工作需要，我们需要爬虫（本人严重申明：商业爬虫属于违规行为，请各位技术同事不要有意无意的做违规的事情）获取网页一些东西，但是大家都知道目前有很多网站都是用前后端分离的，使用curl请求是没办法获取到页面信息的，所以我们就基于目前我们相对擅长的技术点选择了 “Selenium”。刚好自己又会一点Python。所以这样我们的技术方案就可以执行下去了。Selenium介绍       Selenium 是支持 web 浏览器自动化的一系列工具和库的综合项目。从我个人浅显的理解：提供了扩展来模拟用户与浏览器的交互。有如下特点支持主流的大部分浏览器：ie、ff、safari、opera、chrome支持多平台：windows、linux、MAC 支持主流语言的操作库：Python、Java、C#、Ruby、Jav

08

4月

【解决方法】ModuleNotFoundError: No module named '_ctypes'

　　起源        最近发下很多人在我的python课程下面提问，关于执行python3.7 安装某些扩展有如下报错ModuleNotFoundError: No module named ‘_ctypes’出现原因        Python3中有个内置模块叫ctypes，它是Python3的外部函数库模块，它提供兼容C语言的数据类型，并通过它调用Linux系统下的共享库(Shared library)，此模块需要使用CentOS7系统中外部函数库(Foreign function library)的开发链接库(头文件和链接库)。由于在CentOS7系统中没有安装外部函数库(libffi)的开发链接库软件包，所以在安装pip的时候就报了"ModuleNotFoundError:

09

12月

乔布斯Jobs管理调度平台

缘由    由于公司系统相对来说还是挺多的，定时任务也非常多，一直使用crontab配置存在几个问题。这几个问题只要使用该方式应该都会深有感触。问题一管理维护问题：定时Job太多，不清楚总共有多个Job，不知道每个Job到底是谁写的主要功能是什么。如果Job部署在多台服务器那就更要人命了问题二调度监控问题：crontab在一定程度上解决了调度问题，但是调度不光光是运行状态。在实际工作中还会关注，什么时间运行的，运行了多长时间，运行状态，消耗多少内存等等技术选型    该项目使用python语言开发，其实用php等其他语言也是可以的。但是对于这一类运维类系统 使用Python开发比较容易维护些。而使用Python的话,我们也可以基于前面介绍的 Flask CMS V2框架。该Jobs系统应该也算是第一个基于我们 Flask CMS V2 开发的应用项目了。功能特性教程文档Jobs（乔布斯）管理调度平台 

09

12月

【框架发布】Python Flask CMS V2

缘由    我在工作过程中发现，我们经常会开发很多相同类似的东西，每一次都是从零开始，既浪费时间还没有意义，基本都是复制。我个人认为我们应该把很多基础东西开发好 以后所有其他的应用系统都基于这个上面进行开发，既可以让基础越来越丰富，也可以统一维护。    学过我Python视频课程的应该知道，我都是用了同一个自己整理过的 Flask 框架。用的多了慢慢就整理和优化了很多技巧。技术选型    有很多人肯定有疑问，为什么我们要选择Flask，其实这个我觉得是根据个人使用习惯的，网上也有很多人对比了不少框架的。我个人用过Django 和 Flask 这两个框架，其实我觉得区别没有那么大，一定要说一个理由：Flask 比较容易入门，可以根据自己的想法改成自己想要的模式。    很早以前使用Django唯一的感觉是配置有点混乱（相对比Flask），但是经过这么

07

12月

【解决方案】Centos7 opencv-python缺少 libSM.so.6, libXrender.so.1, libXext.so.6

缘起        最近在网上看到一个非常厉害的项目：https://github.com/ouyanghuiyu/chineseocr_lite  ，可以进行图片OCR识别，并且识别率还可以，关注这个是为了风控系统中的网页图片识别做技术储备。大家可以去看看非常不错的一个项目问题    在运行过程中遇到了几个，大致问题如下截图。总结起来就是去三个共享库，这三个共享库是 opencv-python 需要的：libSM.so.6、libXrender.so.1、libXext.so.6 解决方案sudo yum install -y  libSM.x86_64 libXrender.x86_64  libXext.x86_64效果展示OCR识别效果非常不错，后面我要

20

4月

【课程章节更新】突破 没有支付权限的小程序 完成支付闭环

起因大家都知道我有个 Python Flask构建微信小程序订餐系统  课程。这个课程主要是讲解 小程序在线商城的。但是有很多学生小程序的账号是没有支付权限的，那么如何完成整个闭环课程的学习咧？接下来我来给大家讲解整个过程。实现过程原理其实很简单，就是模拟支付完成跳过支付过程。这里我用两种方案给大家实现。如下图，由于没有支付权限 就会导致 支付回调 没有。那么我们就得做一件事情：模拟支付回调等于就是自己做一个入口 可以调用支付回调的业务逻辑就行了 也就是C方案一：web模拟回调废话不说，直接上代码''' 模拟回调方法 其实所有回调基本都是校验合法性 然后找到订单id，所以我们模拟就是直接传递 订单id 访问url(可以使用浏览器直接访问) ： api/order/callback2?id=xxxx xxx 就是你想把某个订单设置为成功的订单id值 ''' @route_a

06

3月

微信小程序 订阅消息 对接详细记录

起因由于我录制过一个小程序的课程，里面有消息模板的讲解。最近有几位同学反馈 官方要 取消消息模板，使用订阅消息。为了方便大家容易学 Python Flask构建微信小程序订餐系统  课程。我把订阅消息结合这个课程讲解下如何实现实现过程其实对于我们来讲，对接第三方无非就是接口地址换了，或者流程上做一些调整。好，废话少说我们直接来通过实战讲解如何对接  订阅消息第一步：阅读订阅消息官方文档对接任何东西必然要先了解这个东西是什么？流程是什么样的？官方文档地址：点击这里传送门。主要步骤就是 申请模板、获取发送权限、后端调用api发送。其中和模板消息最大的区别 就是要获取下发权限，这是最大的区别。也就是这个权限控制在用户手中了。第二步：申请模板第三步：获取授权这一步就需要有个界面明确让用户订阅消息，如果用户拒绝 就不能给用户发送消息了。需要改一下我们课程的小程序。对应API地址：点击这里传送门。那我们来修改我们支付相关的代码。修改记录 总共需要修改三个文件mina/p

06

3月

【分享】分层明确高度定制化的 Python Flask MVC

缘由    Python在AI,AR VR这块使用越来越广泛。同时在Web方面也有很多成熟的框架。而我本身由于使用Flask 比较多，个人认为就是比较简单，容易入手，可定制化强。这里我将我经过多个项目多次迭代的自认为还可以的框架结构整理出来。方便自己可以更容易创建新项目。    大家也知道我录制了两门关于python的课程都是基于这个定制化的分层结构的框架开发系统的目录结构. ├── api  api存放 │   ├── controllers 所有的C层放在这里 │   ├── interceptors 拦截器相关 ├── application.py  封装的Flask的全局变量，包括app，数据库等 ├── common 存放

26

11月

使用Python Flask 开发微信机器人

缘由由于我个人有个小博客，然后还录制了一些课程，所有就建立了对应的微信群，但是微信群的二维码是变化的，总不能经常换了。所以就想搞一个微信机器人，自动加 微信，自动拉群。废话不多说，先上图效果展示大家可以试试效果，效果相当棒需求其他人可以通过二维码加我好友 自动通过好友通过之后 主动发送一些邀请入群链接和介绍信回复 邀请 、加群 可以发送邀请入群链接所有聊天数据都要存储起来 并且可以通过Web展示根据用户输入信息 回复相关内容技术选型Python3Flask：轻量级的MVC 框架itchat ：实现微信API相关接口MySQL：存储相关微信内容图灵机器人：调用API实现主动场景回复架构本人没有使用flask 默认的MVC方式，使用了我自己实现过后的：结构分层明了的MVC框架 。结构如下每一个文件夹都有自己明确的作用├── application.py ├── common │   ├── libs │  &nb

21

2月

号外!! Python Flask 从入门到精通 上线啦

缘由在前面写过一个文章 人生苦短，我用Python  给大家简单介绍了一下Python 能做什么。然后广告了下当时的新课程 Python Flask构建微信小程序订餐系统 。该课程上线之后有些同学反馈没有详细讲解Flask的基础知识 和 课程改造的框架为什么这么来的。基于该原因，重新录制了一门新课程：Python Flask 从入门到精通 。希望大家可以喜欢演示地址：http://movie.54php.cn 大纲课程简介本次课程相对来说比较基础，但是麻雀虽小，五脏俱全。重点是从头到尾的给大家梳理讲解整个Flask 框架的完整知识，并通过演变的方式给大家讲解如何打造构造层次分明的高可用MVC框架。主要是告诉大家为什么？而不是就这样用，让大家明白原理。课程是在双系统下面给大家讲解的，大家可以根据自己喜欢的操作系统进行学习：Windows 和 Linux CentOS7。而Python 我们选择的是3.7版本学习路径【收费

22

6月

Python Flask jsonify a Decimal Error

　　问题最近使用flask jsonify 进行序列号的过程发现 如果是decimal类型 就会出错，错误如下typeerror object of type 'decimal' is not json serializable jsonify解决方案根据 https://github.com/pallets/flask/issues/835 的解决方案如下pip install simplejson

12

8月

编程浪子我的个人知识树

开场白一转眼工作将近7个年头，时间过得好快哇。年少不懂事，上天惩罚我，婚也结了。不要暗恋哥，哥已是传说。恍恍惚惚过了这么多年，想整理下个人技能树，也提醒下自己我的技能树经常看到各种技能树，那我也来一发，我认为作为一个研发人员，不应该只会自己领域内的东西，不要让自己的路越走越窄。熟话说：技多不压身，有精力就多学点了。如下图（点击打开大图：我要看大图）个人实战过得系统工作这么多年，做过了不少东西，想到就列出来，其他零星小的就不说了个人博客地址：http://www.54php.cn 虚拟化Vagrant ：http://www.54php.cn/default/26.html RBAC：http://www.54php.cn/default/42.htmlYii2打造后台+微信全栈图书商城： http://book.54php.cn/ Python3 + Flask构建微信小程序订餐系统：https://food.54php.cn/ 快速上手Linux 玩转典型

19

5月

树莓派3 之 pi3Robot 控制系统配置

需求个人正在用Python写一个控制系统，技术选型是python3 + Flask + Mysql + Bootstrap。需要将这套系统直接部署到树莓派中.代码地址：https://github.com/apanly/pi3Robot 目录结构准备sudo mkdir -p /data/www sudo chown -R pi:pi /data/www mkdir -p /data/www/logs     .     |-- logs     |-- pi3Robot 代码存放位置     `-- pythonenv 虚拟环境python虚拟环境python 源$ mk

22

8月

Python 资源大全中文版

　　我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-python 是 vinta 发起维护的 Python 资源列表，内容包括：Web 框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。由伯乐在线持续更新。Awesome 系列虽然挺全，但基本只对收录的资源做了极为简要的介绍，如果有更详细的中文介绍，对相应开发者的帮助会更大。这也是我们发起这个开源项目的初衷。环境管理管理 Python 版本和环境的工具p：非常简单的交互式 python 版本管理工具。官网pyenv：简单的 Python 版本管理工具。官网Vex：可以在虚拟环境中执行命令。官网virtualenv：创建独立 Python 环境的工具。官网virtualenvwrapper：virtualenv 的一组扩展。官网包管理管理包和依赖的工具。pip：Python 包和依赖关系管理工具。官网pi

10

10月

Python 虚拟环境Virtualenv

　　本人也是Python爱好者，众所周知，Python扩展多，每次为了测试，安装各种各样的扩展，这样导致本地的Python环境非常混乱，就有人想到搞个隔离环境  和 本地环境没有关系，随时可以删除这个隔离环境，在创建，这就是Python虚拟环境Virtualenv（是不是感觉和虚拟操作系统有点相似 Virtualbox ）下面直接上操作步骤安装Virtualenv$ sudo apt-get install python-dev #python开发包 $ wget https://pypi.python.org/packages/source/v/virtualenv/virtualenv-13.1.2.tar.gz#md5=b989598f068d64b32dead530eb25589a $ tar -xvf virtualenv-13.1.2.tar.gz $ cd&n

03

10月

来看看这20个顶尖的开源项目！

　　“我们在Github上的贡献者和提交者之中检查了用Python语言进行机器学习的开源项目，并挑选出最受欢迎和最活跃的项目。”1. Scikit-learnwww.github.com/scikit-learn/scikit-learn Scikit-learn 是基于Scipy为机器学习建造的的一个Python模块，他的特色就是多样化的分类，回归和聚类的算法包括支持向量机，逻辑回归，朴素贝叶斯分类器，随机森林，Gradient Boosting，聚类算法和DBSCAN。而且也设计出了Python numerical和scientific libraries Numpy and Scipy2.Pylearn2www.github.com/lisa-lab/pylearn2 Pylearn是一个让机器学习研究简单化的基于Theano的库程序。3.NuPICwww.github.com/numenta/nupic NuPIC是一个以HTM学习算法为工具的机器智能平台。HTM是皮层的精确计算方法