Python 多线程简易入门 - 后端 - 掘金
一直懒得写Python相关的文章,恰好有天需要简单的给童鞋们讲点课,仓促之余就诞生了此文. 今天本来准备全面的聊聊有关高性能并发这个话题来着,但是周末马上要来了啊.所以我就取了其中的一点来介绍,关于其他的...
GitHub 上的一堆 Python 学习资料 - 后端 - 掘金
Python Books Python Books Follow JulianGaal/python-cheat-sheet Python for Data Science - NumPy, Pandas, SciKit Learn ... Pyth...
线程、进程与协程 - 掘金
众所周知, 计算机是由软件和硬件组成. 硬件中的CPU主要用于解释指令和处理数据, 软件中的操作系统负责资源的管理和分配以及任务的调度. 而程序则是运行在操作系统上具有特定功能的软件. 每当程序执行完成特定功能的时候, 为了保证程序的独立运行不受影响往往需要进...
深入浅出谈 socket - 掘金
现在我们开发往往不断使用封装好的web框架, 运行web服务也有相当多的容器, 但是其原理往往都离不开socket. 像是nginx底层就是采用类似python中epoll的异步监听方式加上socket结合来做. 本文采取从最简单的socket通信实现聊天机...
Tornado框架05-session - 掘金
我们将许多信息放在cookie中势必会造成浏览器端的臃肿, 此时便需要在服务端保存原本在浏览器端的那些键值对. 在浏览器端只需存储一个表示身份的随机加密字符串, 当浏览器端访问服务端时候携带该字符串, 经过比较, 验证合法之后便可以取该用户在服务端存储的相应信...
Tornado框架04-cookie - 掘金
cookie的本质其实就是在浏览器端保存的键值对, 每当浏览器端发送一次请求, 都会将这些键值对附加在请求中并发送给服务器端. 我们简单使用下python中的cookie: 项目目录 home.py文件: #!/usr/bin/env python # -...
Tornado框架03-路由系统 - 掘金
在Tornado中支持两种路由系统, 正则路由系统以及二级域名路由系统. # 默认路由系统, 根据url的不容调用不同的类 application = tornado.web.Application([ (r"/index/(?P<page&g...
Tornado框架02-模板引擎 - 掘金
在Tornado框架中, 模板引擎能带给我们很多方便, 它是便捷展现页面的极佳方式. 在上一节中我们介绍了模板引擎对于{{}}以及对于 {%%}的用法. 我们简单回顾一下: {{}}使用: 直接取服务端在render()函数中传递参数的值, 例如服务端中有...
Tornado框架01-入门总概 - 掘金
我们首先来谈谈web框架. web框架的本质其实就是socket服务端再加上业务逻辑处理, 比如像是Tornado这样的框架. 有一些框架则只包含业务逻辑处理, 例如Django, bottle, flask这些框架, 它们的使用需要依赖包含socket的第三...
只需十四步：从零开始掌握 Python 机器学习（附资源） - 后端 - 掘金
Python 可以说是现在最流行的机器学习语言，而且你也能在网上找到大量的资源。你现在也在考虑从 Python 入门机器学习吗？本教程或许能帮你成功上手，从 0 到 1 掌握 Python 机器学习，至于后面再从 1 到 100 变成机器学习专家，就要看你自己...
Python 优雅编程之 str.format() - 掘金
- str.format 的引入 在 Python 中，我们可以使用 + 来连接字符串，在简单情况下这种方式能够很好的工作。但是当我们需要进行复杂的字符串连接时，如果依然使用 + 来完成，不仅会使代码变得晦涩难懂，还会让代码变得难以维护，此时这种方式就显得力...
Python 资源大全中文版 - 后端 - 掘金
Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-python 是 vinta 发起维护的 Python 资源列表，内容包括：Web框架、网络爬虫、网络内容提取、模...
代码这样写更优雅 (Python 版) - 掘金
Python 这门语言最大的优点之一就是语法简洁，好的代码就像伪代码一样，干净、整洁、一目了然。但有时候我们写代码，特别是 Python 初学者，往往还是按照其它语言的思维习惯来写，那样的写法不仅运行速度慢，代码读起来也费尽，给人一种拖泥带水的感觉，过段时间连...
从 0 到 1，Python Web 开发的进击之路 - 后端 - 掘金
从0到1，Python Web开发的进击之路 本文将以个人（开发）的角度，讲述如何从零开始，编写、搭建和部署一个基于Python的Web应用程序。 从最简单的出发...
Python 爬虫之豆瓣音乐 Top 250 - 后端 - 掘金
回家很久了，实在熬不住，想起来爬点数据玩一玩，之前自己笔记本是win7加ubuntu16.04双系统，本打算在ubuntu里写代码的，可是回到家ubuntu打开一直是紫屏，百度知乎方法用了也没解决，厉害的兄弟可以教下我哦，过年有红包哦！！然后就还是在win7下...
Python 的无状态 SYN 快速扫描 - 后端 - 掘金
*本文原创作者：addadd，本文属FreeBuf原创奖励计划，未经许可禁止转载 起因 freebuf中有一篇文章，讲述了基本的扫描原理并给出了简易的python代码，几种扫描方式中我发现SYN的扫描准确率高返回的信息明确，而且不会留下握手的痕迹，但是速度有些...
Python 多进程并行编程实践：以 multiprocessing 模块为例 - 后端 - 掘金
專 欄 ...
Python scapy 实现一个简易 arp 攻击脚本 - 后端 - 掘金
scapy是python写的一个功能强大的交互式数据包处理程序，可用来发送、嗅探、解析和伪造网络数据包，常常被用到网络攻击和测试中。 scapy的安装在Linux非常便利，但在Windows下比较复杂。 ...
Python logging 模块和使用经验 - 后端 - 掘金
记录下常用的一些东西，每次用总是查文档有点小麻烦。 py日志应该是生产应用的重要生命线，谁都不应该掉以轻心 有益原则 级别分离 日志系统通常有下面几种级别，看情况是使用 ...
Python 类型检查 - 后端 - 掘金
众所周知， Python 是一门强类型、动态类型检查的语言。所谓动态类型，是指在定义变量时，我们无需指定变量的类型，Python 解释器会在运行时自动检查。与静态类型语言（如 C 语言）相比，这不仅仅是少写了几个类型声明字符： #include <std...
Python 全栈之路系列之流程控制 - 后端 - 掘金
if if就是一个条件判断的，当满足不同样的条件的时候执行不同的操作，如法如下： if <条件一>: <条件一代码块> elif <条件二>: <条件二代码块> e...
2016 年，我对爬虫的总结 - 后端 - 掘金
都说年末了，该给自己写写总结了。今天我想谈一谈的是我在公司这一年多里的负责的部分工作---爬虫。做了这么久的爬虫，是该写点什么，留下点什么。在我所负责的这一段时间了。我总结了一下大概有以下几类爬虫设计思想。 ...
Python 函数式编程大全 - 后端 - 掘金
Awesome Functional Python A curated list of awesome things related to functional programming in Python. Official documentatio...
500 行 Python 代码构建一个轻量级爬虫框架 - 后端 - 掘金
引言 玩 Python 爬虫有段时间了，但是目前还是处于入门级别。xcrawler 则是利用周末时间构建的一个轻量级的爬虫框架，其中一些设计思想借鉴了著名的爬虫框架 Scrapy 。既然已经有像 Scrapy 这样优秀的爬虫框架...
Python 网络编程，TCP/IP 服务器与客户端通信 - 后端 - 掘金
初学 python，前段时间买了两本书《python 编程从入门到实践》《Python 核心编程第三版》，第一本书主要讲的是一些基本语法和一些基本的使用方法，而第二本则深入很多，自己看来也是一知半解，刚好看到了这部分网络编程，依然有好多不太理解的地方，不过想来...
GitHub 上 Stars 最多的 10 个 Python 项目 - 后端 - 掘金
上篇文章整理了 GitHub上Stars最多的项目，发现大部分都是JavaScript项目，这也是这两年的大趋势，当然在文章最后我也答应大家会继续更新Stars最多的10个Python项目，今天文章来了，希望这些项目可以帮助到你！上期回顾：2016年度GitH...
一个基于 python2 和 http2 的苹果推送 SDK - 工具资源 - 掘金
一个基于python2和http2的苹果推送SDK 安装 pip install applepush ...
许巍写歌最喜欢用什么词？ - 工具资源 - 掘金
关键词 结巴分词 中文分词 TF-IDF 词频 逆文档频率 前言 自从第一次听到许巍的歌，就深深地迷上了他的歌，感觉每一首都钻到了我的心里，也早已把他的歌听得烂熟了。许巍，我最喜欢的歌手，没有之一！ 本文我要解决以下问题： 爬取许巍每首歌...
我的开源 GitBook: Python 之旅 - 掘金
在学习和使用 Python的过程中，我作了不少笔记，并对一些笔记进行了加工和完善，发表在博客上。随着笔记的增加，我就萌生了写一本书的想法，希望能比较系统地总结相关知识，巩固自己的知识体系，而不是停留在『感觉好像懂了』的状态中。 有了想法之后，接下来就要开始写了...
《简明 Python 教程》（A Byte of Python）V4.0 2017 译本发布 - 后端 - 掘金
《A Byte of Python》是一本由 Swaroop C H 编写，旨在于介绍如何使用 Python 语言进行编程的自由图书。它以教材与指南的形式为入门者介绍 Python 语言。如果你对电脑知识的了解仅限于如何保存文本文件的话，那这本书就是为你准备的...
全栈 - 3 序言 带好装备Python和Sublime - 掘金
这是全栈数据工程师养成攻略系列教程的第三期：3 序言 带好装备Python和Sublime。 对于程序员来说，两件最重要的装备，便是编辑器和编程语言。 Sublime 某些语言可能会有自己专用的编译器和编程环境，如Java的Eclipse。但是在这里我给大家推...
全栈 - 4 Python 先学会基本语法 - 掘金
这是全栈数据工程师养成攻略系列教程的第四期：4 Python 先学会基本语法。 Python简单易学，但又博大精深。许多人号称精通Python，却不会写Pythonic的代码，对很多常用包的使用也并不熟悉。学海无涯，我们先来了解一些Python中最基本的内容。...
Python 知乎爬虫（最新） - 后端 - 掘金
环境：python3.x外部依赖包：requestsgithub项目地址 主要的问题:模拟登陆： 知乎现在改用https请求了，数据加密，但是问题不大，重要的是网页数据改动了，而且在请求时后台会对爬虫做一些判断，因此在每次请求是都需要加上request hea...
爬了知乎日报十多万条数据然后分析了一遍 - 前端 - 掘金
爬取了从 20150519 以来所有的文章、点赞数、评论数和部分评论内容 感觉数据挺多，简单的统计了下，还挺有趣的。 具体的数据统计和分析移步到我在知乎上的回答 线上地址 GitHub仓库: https://github.com/ccforward/...
听说你会 Python ？ - 后端 - 掘金
前言最近觉得 Python 太“简单了”，于是在师父川爷面前放肆了一把：“我觉得 Python 是世界上最简单的语言！”。于是川爷嘴角闪过了一丝轻蔑的微笑（内心 OS：Naive！，作为一个 Python 开发者，我必须要给你一点人生经验，不然你不知道天高地厚...
教你阅读 Python 开源项目代码 - 后端 - 掘金
注：本专栏文章未经允许请勿转载。知乎上有不少人问和关注阅读开源项目代码这个问题，比如「初学 Python，有哪些 Pythonic 的源码推荐阅读？」、「github中适合新人阅读的Python项目有哪些?」、「如何去阅读并学习一些优秀的开源框架的源码？」等。...
单机 30 分钟抓取豆瓣电影 7 万 + 数据：论爬虫策略的重要性 - 后端 - 掘金
首先报告下试验条件和结果：硬件：普通电脑一台（MacPro），IP地址一个，无代理IP语言：使用Python语言中的requests库进行抓取框架：使用自己写的简易爬虫框架PSpider（PSpider框架）速度：开启100个线程，1846 秒抓取 72500...
写个抓取网易云音乐精彩评论的爬虫 - 掘金
被投诉，所以删掉了 我的知乎Live「Python 工程师的入门和进阶」 欢迎关注本人的微信公众号获取更多Python相关的内容（也可以直接搜索「Python之美」）：...
Python 爬虫学习系列教程 - 后端 - 掘金
大家好哈，我呢最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与大家的交流。 Pytho...
开车啦！一键爬知乎各种爆照 - iOS - 掘金
这是一篇严肃的技术分享文章，旨在向大家介绍一些网络安全方面的知识，及相关工具的使用。闲话少说，进入正题。实现目标知乎上经常有各种爆照及钓鱼贴，类似「胸大是一种什么样的体验？」, 「女生有翘臀是什么样的体验？」等。其实大家关心的只有照片，是不是？我们的目标是在终...
理解Python并发编程一篇就够了 - 线程篇 - 掘金
前言 对我来说，编程的乐趣之一是想办法让程序执行的越来越快，代码越写越优雅。在刚开始学习并发编程时，相信你它会有一些困惑，本文将解释多个并发开发的问题并帮助你快速了解并发编程的不同场景和应该使用的解决方案。 GIL Python（特指CPython）的多线程的...
理解 Python 并发编程一篇就够了 | 线程篇 - 后端 - 掘金
前言编程的乐趣之一是想办法让程序执行的越来越快，代码越写越优雅。在刚开始学习并发编程时，相信你它会有一些困惑，本来这是一篇解释多个并发开发的问题并帮助你快速了解并发编程的不同场景和应该使用的解决方案的文章，但是受微信文章长度限制和笔者对阅读体验的担心，把它分成...
利用 scrapy 爬知乎用户关系网以及下载头像 - 后端 - 掘金
说起Python，我们或许自然而然的想到其在爬虫方面的重大贡献。Python的流行在于其语言的优美以及良好的氛围。相对于Java，js等语言来说，Python API在封装上面要好很多。今天我们要说的是Python的一个通用的开源爬虫框架 scrapy。 ...
Python 编写 Github Webhook - 后端 - 掘金
这篇博文可以让你明白，什么是Webhook,Webhook有哪些事件，设置Webhook的条件和流程。特别是自动部署线上服务器。和一些简单的linux操作。今年五月份的时候，因为毕业设计是做一个app，所以需要写后端，那个时候只懂用 Java EE 做后端。...
《Think Python 2e》中译版电子书分享 - 阅读 - 掘金
6月19日，我发布了《Think Python 2e》中译版的最后一章，之后断断续续在花时间折腾生成PDF和EPUB等格式电子书的问题。这两天总算是取得了一个还比较满意的效果，因此想把我目前生成的一些电子书分享给大家。 我主要生成了两种格式：PDF和EPUB，...
2 道极好的 Python 算法题 | 带你透彻理解装饰器的妙用 - 后端 - 掘金
前一篇讲了装饰器额基本知识，装饰器我个人认为是Python中最最最难的知识点，上一篇算是一个入门的介绍，有18个小伙伴给我留言，后台也有很多同学跟我讨论，大家总是觉得不过瘾，好像离深入理解还差那么一丢丢赶脚，装饰器到底有啥妙用呢,其实装饰器内容非常丰富，今天我...
Python 线程进阶篇 | 多线程下载网页 - 后端 - 掘金
Python的并发编程前面只讲了进程和线程的入门篇，线程里面还有很多有用而好玩的招式，我们还没有讲，我一直主张学一门语言一定要有兴趣，带着玩Python的心态去学,会轻松很多，打个比方打扫卫生和打羽毛球，可能都很累，为啥你打球就很high,而在家打扫卫生就很累...
这 10 个 Python 项目超有趣！ - 后端 - 掘金
前言： Python可谓是现在很多人正在学或者想学的一个脚本语言了，提到学习自然就少不了拿项目练手，可是一般的项目根本提不起兴趣嘛，这10个项目可是非常有趣的，不信你看看。 【Python 图片转...
Python 正则表达式学习 - 后端 - 掘金
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个...
Python 篇 - 微信公众号历史文章信息爬虫 - 后端 - 掘金
请输入标题 bcdef ...
2、Python 与设计模式 -- 工厂类相关模式 - 后端 - 掘金
一、快餐点餐系统（1） 想必大家一定见过类似于麦当劳自助点餐台一类的点餐系统吧。在一个大的触摸显示屏上，有三类可以选择的上餐品：汉堡等主餐、小食、饮料。当我们选择好自己需要的食物，支付完成后，订单就生成了。下面，我们用今天的主角--工厂模式--来生成这些食物的...
Python爬虫之模拟知乎登录 - 掘金
经常写爬虫的都知道，有些页面在登录之前是被禁止抓取的，比如知乎的话题页面就要求用户登录才能访问，而 “登录” 离不开 HTTP 中的 Cookie 技术。 登录原理 Cookie 的原理非常简单，因为 HTTP 是一种无状态的协议，因此为了在无状态的 HTTP...
Python 分布式动态页面爬虫研究 - 后端 - 掘金
Selenium的Webdriver爬取动态网页效果虽然不错，但效率方面并不如人意。最近一直研究如何提高动态页面爬虫的效率，方法无非高并发和分布式两种。过程中有很多收获，也踩了不少坑，在此一并做个总结。以下大致是这段时间的学习路线。 ...
Python 开发者 2017 应该关注的 7 个类库 - 后端 - 掘金
Django 依然是 Python 开发者值得信赖的库。然而，在 2016 年几个还不太知名的库引起了 Python 开发者的关注。在这篇博文中，我向大家揭示 7 个 Python 类库，其中不包括像 Django，Flask 等已广为熟知的库，这些类库在 ...
传说中 Python 最难理解的点 | 看这完篇就够了 - 后端 - 掘金
菜鸟学Python的入门课程已经写了60多篇，讲了很多好玩有趣的知识点,但是整个入门篇还有一个最难的东西没有讲，这个知识点好多书里面对这块要么不讲，要么就是讲的太深奥，这个知识点卡在那里很难受。这块到底是什么的，猜对了就是传说中的装饰器，我记得我好几年前刚学P...
优雅的在终端中编写 Python - 工具资源 - 掘金
前言 最早我也只是在服务器上编辑文件的时候用用vim来改改程序，并没有把vim当做自己的主力编辑器。但是偶然的一次机会需要改一个奇葩的输入文件的格式，用了下Vim的宏录制，尝到了甜头，于是后面就开始用Vim来写程序了，虽然使用初期有些阻力，但时间久了就会发现，...
11 道 Python 基本面试题 | 深入解答 - 阅读 - 掘金
分享给大家的11道Python面试题，好多小伙伴都很积极的去思考分析，给我留言的同学非常多,非常欣慰有这么多好学的小伙伴，大家一起学习，一起加油，把Python学好,今天我就把11道面试题细细解答一下 1.单引号，双引号，三引号...
(译) 使用 Flask 实现 RESTful API - 阅读 - 掘金
原创译文，如需转载，请联系译者。 我的简书博客:nummy 原文地址:Implementing a RESTful Web API with Python & Flask 简介 首先，安装Flask pip install flask 假设那你已经了解REST...
Xpath 总结 - 爬虫开发必备 - 后端 - 掘金
Firefox + Firepath、Chrome + XPath Helper 如下图 Firefox下，XPath需要通过Firebug + Firepath来方便的获取。 Chrome下，通过XPath Helper插件实现，开启和关闭快捷键...
orm 框架 - 掘金
在python中可以通过写类生成数据库对应的表结构, 生成对象来为表加入数据, 这就是orm框架的本质思想. 其中sqlalchemy就是实现这种框架的一个python模块 使用sqlalchemy对单表进行操作 : #!/usr/bin/env py...
Python HTTP 库：requests 快速入门 - 后端 - 掘金
2013 年我接触 Python 的时候，就听闻 Python 的网络编程能力十分强大。因此，在熟悉 Python 的基本语法之后，我就和几个小伙伴一起合作，试着用 Python 的 urllib 和 urllib2 库构建了一个百度贴吧 Python 客户端...
Python 爬虫利器五之 Selenium 的用法 - 后端 - 掘金
前言 在上一节我们学习了 PhantomJS 的基本用法，归根结底它是一个没有界面的浏览器，而且运行的是 JavaScript 脚本，然而这就能写爬虫了吗？这又和Python有什么关系？说好的Python爬虫呢？库都学完了你给我看这个？客官别急，接下来...
20 行 Python 代码搞定 18 位身份证验证 - 后端 - 掘金
import re IDCARD_REGEX = '[1-9][0-9]{14}([0-9]{2}[0-9X])?' def is_valid_idcard(idcard): """Validate id card is valid.""" ...
Python 编码为什么那么蛋疼？ - 掘金
据说，每个做 Python 开发的都被字符编码的问题搞晕过，最常见的错误就是 UnicodeEncodeError、UnicodeDecodeError，你好像知道怎么解决，遗憾的是，错误又出现在其它地方，问题总是重蹈覆辙，str 到 unicode 之间的转...
使用 Python 爬一爬网易云音乐上那些评论火爆的歌曲 - 后端 - 掘金
网易云音乐这款音乐APP本人比较喜欢，用户量也比较大，而网易云音乐之所以用户众多和它的歌曲评论功能密不可分，很多歌曲的评论非常有意思，其中也不乏很多感人的评论。但是，网易云音乐并没有提供热评排行榜和按评论排序的功能，没关系，本文就使用爬虫给大家爬一爬网易云音乐...
发布你自己的轮子 - PyPI 打包上传实践 - 工具资源 - 掘金
本文仅讨论上传相关的步骤，关于如何给写一个setup.py 请参阅官方文档： https://docs.pyth...
只需两行，在你的微信上监控 Python 程序 - 工具资源 - 掘金
不知道大家有没有过这样的经历： 电脑上跑着代码，人走开了，在外面特别挂念，想知道那代码跑得怎样了… 写了个小程序，监控某个网页的变化，但没有比较实时的通知方式，邮件太重、短信又不好搞 在过去，这样的问题有时会困扰我。 不过现在，可以把警告/...
机器学习笔记——相似性度量 - 后端 - 掘金
在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。 ...
Python 的练手项目有哪些值得推荐？ - 后端 - 掘金
更新：兄弟们如此给力，小弟受宠若惊，好东西就是用来分享的。 500 line or less只是某个系列丛书中第四本，其他三本链接：http://www.aosabook.org/en/index.html可以在线看哦前两本每章介绍出名开源软件的架构，你说的上...
Python 数据挖掘实践—KNN 分类 - 后端 - 掘金
赵宏田，Python社区专栏作者 博客：https://zhuanlan.zhihu.com/pythoncoder ...
一个更优雅的知乎 API 基于 Python3 - 后端 - 掘金
项目简介 Zhihu API For Humans Based on Python3 前置条件 Python3.x Requests2 BeautifulSoup4 ...
用 CNN 做句子分类：CNN Sentence Classification (with Theano code) - 后端 - 掘金
- Intro 本篇博客来细说CNN在NLP中的一大应用————句子分类。 通过Yoon Kim的论文介绍一个应用，分析代码，并重构代码。 重构后的代码放在github，另附io博文地址 传统...
机器学习之朴素贝叶斯分类 - 掘金
朴素贝叶斯分类 所有贝叶斯分类都是基于贝叶斯定理，朴素贝叶斯分类是贝叶斯分类中运用广泛简单的一种，另外，它还基于特征条件独立假设。 贝叶斯定理 贝叶斯定理是计算条件概率的公式，条件概率即是事件B发生的前提下事件A发生的概率，记作P(A|B)，叫做事件B发生的情...
fluent python 读书笔记 2--Python的序列类型2 - 掘金
对 Python 中的序列类型进行操作是我们的必要需求。尤其是切片，以及从列表中建立一个新的列表等操作尤其需求的多。阅读这一部分，我收获很多。PS: 这篇博客有点长，一下看不完就请收藏吧。。。 切片 list, tuple, str 以及 Python 中的...
Python 中文件 I/O 高效操作处理的技巧 - 后端 - 掘金
如何读写文本文件？ 实际案例 某文本文件编码格式已直(如UTF-8,GBK,BIG5)，在python2.x和python3.x中分别如何读取这些文件？ 解决方案 注意区分python2和python3中的差别 字符串的语义发生了变化： ...
提高你的 Python: 解释 yield 和 Generators（生成器） - 后端 - 掘金
原文出处： Jeff Knupp 译文出处：oschina 在开始课程之前，我要求学生们填写一份调查表，这个调查表反映了它们对Python中一些概念的理解情况。一些话题(“if/el...
Vue 2.0 起步 (4) 轻量级后端 Flask 用户认证 - 微信公众号 RSS - 前端 - 掘金
参考： Vue+Flask轻量级前端、后端框架，如何完美同步开发 Vue 2.0 起步(3) 数据流vuex和LocalStorage实例 - 微信公众号RSS Vue 2.0 起步(2) 组件及vue...
Flask 最佳实践 - 后端 - 掘金
本节将主要分享 https://github.com/dongweiming/commentbox 中我使用 Flask 的考虑以及延伸出来的问题。...
python+flask 做的个人博客 - 后端 - 掘金
本blog系统后端使用python编写，基于flask框架+mysql数据库，前端html5+bootstrap。目前这个blog部署在SAE（新浪云）上面。 基本功能： ...
Python 线程进阶篇 | 多线程下载网页 - 后端 - 掘金
Python的并发编程前面只讲了进程和线程的入门篇，线程里面还有很多有用而好玩的招式，我们还没有讲，我一直主张学一门语言一定要有兴趣，带着玩Python的心态去学,会轻松很多，打个比方打扫卫生和打羽毛球，可能都很累，为啥你打球就很high,而在家打扫卫生就很累...
2 道极好的 Python 算法题 | 带你透彻理解装饰器的妙用 - 后端 - 掘金
前一篇讲了装饰器额基本知识，装饰器我个人认为是Python中最最最难的知识点，上一篇算是一个入门的介绍，有18个小伙伴给我留言，后台也有很多同学跟我讨论，大家总是觉得不过瘾，好像离深入理解还差那么一丢丢赶脚，装饰器到底有啥妙用呢,其实装饰器内容非常丰富，今天我...
这 10 个 Python 项目超有趣！ - 后端 - 掘金
前言： Python可谓是现在很多人正在学或者想学的一个脚本语言了，提到学习自然就少不了拿项目练手，可是一般的项目根本提不起兴趣嘛，这10个项目可是非常有趣的，不信你看看。 【Python 图片转...
Python 基于共现提取《釜山行》人物关系 - 后端 - 掘金
This repository is just an example for the simplest text cooccurrence network capture, I wrote a tutorials at here. I also wrote a...
Python 爬虫：把廖雪峰的教程转换成 PDF 电子书 - 掘金
写爬虫似乎没有比用 Python 更合适了，Python 社区提供的爬虫工具多得让你眼花缭乱，各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来，今天就琢磨着写一个爬虫，将廖雪峰的 Python 教程 爬下来做成 PDF 电子书方便大家离线阅...
一份不满十八岁禁止观看的数据分析报告 - 掘金
声明：此文并不是标题党，如果你不满18岁，请马上关闭，在父母陪同下观看也不行。 数据来源 本文的数据抓取自国内最大的亚文化视频社区网站（不，不是 B 站），其中用户出于各种目的会在发帖的标题中加入城市名称，于是本文抓取了前10000个帖子的标题和发帖用户 ...
爬虫学习资源整理 - 后端 - 掘金
啊，好久没写东西了，发现收到了好多人的私信，我只要有时间都一一回复了，虽说不一定有用，但权当我们互相交流啊，互相学习呀。最近一篇《我分析了42万字歌词后，终于搞清楚民谣歌手唱什么了》文章（因为原文是微信上的，就不分享链接了，想看的自己搜索即可）在各个平台都可以...
只需十四步：从零开始掌握 Python 机器学习（附资源） - 后端 - 掘金
Python 可以说是现在最流行的机器学习语言，而且你也能在网上找到大量的资源。你现在也在考虑从 Python 入门机器学习吗？本教程或许能帮你成功上手，从 0 到 1 掌握 Python 机器学习，至于后面再从 1 到 100 变成机器学习专家，就要看你自己...
Python 格式化字符串漏洞 - 后端 - 掘金
原文我发表在先知技术社区： https://xianzhi.aliyun.com/forum/read/615.html ，转载请联系阿里云Aliyun_xianzhi@service.alibaba.com 。本文涉及版权问题，侵权者后果自负。 在C...
Python 中 "is" 与 "==" 有啥区别？ - 掘金
在 Python 中，比较两个对象（变量）是否相等，可以用 “is” 和 “==” 操作，但它俩有什么区别？什么时候用 “is”，什么时候用 “==” ？在面试时，发现不少候选人很难把这两者完全说清楚，因此在这篇文章中，「Python之禅」将对二者进行深入浅出...
一堆微信开发相关的 python 库（不定期更新） - 后端 - 掘金
Wechat Weixin Python module Follow zwczou/weixin-python 微信SDK - 包括微信支付,微信公众号,微信登陆,微信消息处理等 Python lepture/flask-weixi...
使用 python 抓取美女福利图片 - 后端 - 掘金
这篇文章干嘛的？ 本屌在上网时偶然看到一个图片网站，网站的尺度是这样的： 图片站首页 ...
知乎 Live 全文搜索之完成爬虫 - 后端 - 掘金
看这篇文章前推荐阅读相关的如下文章： 使用API登录知乎并获得token 知乎Live全文搜索之模型设计和爬虫实现 知乎Live全文搜索之模型接口 ...
Python 开发微信公众号后台（系列三） - 后端 - 掘金
❈ 段晓晨，写过一点爬虫，写过几篇文章。能力虽有限，会尽量把想说的东西讲清楚。知乎ID：段小草知乎专栏： 小段同学的杂记，https://zhuanlan.zhihu.com/666666 ...
2016 年，我对爬虫的总结 - 后端 - 掘金
都说年末了，该给自己写写总结了。今天我想谈一谈的是我在公司这一年多里的负责的部分工作---爬虫。做了这么久的爬虫，是该写点什么，留下点什么。在我所负责的这一段时间了。我总结了一下大概有以下几类爬虫设计思想。 ...
Python 爬虫小白入门（六）爬取披头士乐队历年专辑封面 - 网易云音乐 - 后端 - 掘金
一、前言 前文说过我的设计师小伙伴的设计需求，他想做一个披头士乐队历年专辑的瀑布图。 通过搜索，发现网易云音乐上有比较全的历年专辑信息加配图，图片质量还可以，虽然...
GitHub 上 Stars 最多的 10 个 Python 项目 - 后端 - 掘金
上篇文章整理了 GitHub上Stars最多的项目，发现大部分都是JavaScript项目，这也是这两年的大趋势，当然在文章最后我也答应大家会继续更新Stars最多的10个Python项目，今天文章来了，希望这些项目可以帮助到你！上期回顾：2016年度GitH...
java spring+mybatis 整合实现爬虫之《今日头条》搞笑动态图片爬取 - 后端 - 掘金
先上效果图 抓取的动态图： 数据库： 一.此爬虫介绍 今日头条本身就是做爬虫的，爬取各大网站的图片文字信息，再自己整合后推送给用户，特别是里面的动态图片，很有意思。在网上搜了搜，大多都是用Python来写的，本人是学习javaw...
Python 的钉钉加密 / 解密工具 - 后端 - 掘金
又是很久没有写技术博客了，盖因最近都在学习知识，也没有总结出什么值得分享的内容，所以一直停笔至今。最近的工作和钉钉的开发打上了交到，官方并没有提供任何Python的SDK，于是只能全部自己写。现在我将其中实现起来相对费时间的“加密/解密/签名”部分分享出来，希...
使用 Python,OMR,OpenVC 制作泡泡板多选扫描仪和打分机 - 后端 - 掘金
Python部落(python.freelycode.com)组织翻译，禁止转载，欢迎转发。 引言最近几个月,我收到了许多请求---用计算机视觉和图像处理技术做一个泡泡板/答题卡打分机.尽管这个系列的机器学习和深度学习让我很高兴,如果我说这个小项目不小,岂不...
Python 爬虫 - 用 Scrapy 框架实现漫画的爬取 - 后端 - 掘金
在之前一篇抓取漫画图片的文章里，通过实现一个简单的Python程序，遍历所有漫画的url，对请求所返回的html源码进行正则表达式分析，来提取到需要的数据。 本篇文章，通过 scrapy 框架来实现相同的功能。scrapy 是一个为了爬取网站数据，提取结构性数...
Python 开发微信公众号后台（系列一） - 后端 - 掘金
段晓晨，写过一点爬虫，写过几篇文章。能力虽有限，会尽量把想说的东西讲清楚。知乎ID：段小草知乎专栏：小段同学的杂记，https://zhuanlan.zhihu.com/666666❈——通过这一系列的文章，我们来介绍一下如何用Python开发微信公众号的后台...
Python 多进程与多线程 - 后端 - 掘金
摘要： 15.1 multiprocessing multiprocessing是多进程模块，多进程提供了任务并发性，能充分利用多核处理器。避免了GIL（全局解释锁）对资源的影响。 有以下常用类： 类 描述 Process(group=None, target...
Python 网络爬虫实战项目代码大全（长期更新，欢迎补充） - 后端 - 掘金
WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名...
Python 函数式编程：从入门到走火入魔 - 后端 - 掘金
很多人都在谈论函数式编程（Functional Programming），只是很多人站在不同的角度看到的是完全不一样的风景。坚持实用主义的 Python 老司机们对待 FP 的态度应该更加包容，虽然他们不相信银弹，但冥冥中似乎能感觉到 FP 暗合了 Pytho...
Python 福利小爬虫，爬取今日头条街拍美女图 - 后端 - 掘金
先实际感受一下我们要抓取的福利是什么？点击 今日头条，在搜索栏输入街拍 两个字，点开任意一篇文章，里面的图片即是我们要抓取的内容。 头条街拍搜索结果.jpg 可以看到搜索结果默认返回了 20 篇文章，当页面滚动到底部时头条通过 ajax 加载更多文章，浏览...
理解 Python 并发编程一篇就够了 | 线程篇 - 后端 - 掘金
前言编程的乐趣之一是想办法让程序执行的越来越快，代码越写越优雅。在刚开始学习并发编程时，相信你它会有一些困惑，本来这是一篇解释多个并发开发的问题并帮助你快速了解并发编程的不同场景和应该使用的解决方案的文章，但是受微信文章长度限制和笔者对阅读体验的担心，把它分成...
Python 不能不知的模块 - 后端 - 掘金
之前我面试的时候，一般都会问一个问题：「能讲讲你日常开发中都用到了那些Python内置的模块吗」？我为啥爱问这么个问题呢：了解面试者日常的工作。了解面试者对技术的热情和主动性。侧面验证面试者技术水平。非常遗憾的是，绝大多数的面试者的回答我都不满意。那学会这些内...
理解Python并发编程一篇就够了 - 线程篇 - 掘金
前言 对我来说，编程的乐趣之一是想办法让程序执行的越来越快，代码越写越优雅。在刚开始学习并发编程时，相信你它会有一些困惑，本文将解释多个并发开发的问题并帮助你快速了解并发编程的不同场景和应该使用的解决方案。 GIL Python（特指CPython）的多线程的...
Python 爬虫学习系列教程 - 后端 - 掘金
大家好哈，我呢最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与大家的交流。 Pytho...
单机 30 分钟抓取豆瓣电影 7 万 + 数据：论爬虫策略的重要性 - 后端 - 掘金
首先报告下试验条件和结果：硬件：普通电脑一台（MacPro），IP地址一个，无代理IP语言：使用Python语言中的requests库进行抓取框架：使用自己写的简易爬虫框架PSpider（PSpider框架）速度：开启100个线程，1846 秒抓取 72500...
教你阅读 Python 开源项目代码 - 后端 - 掘金
知乎上有不少人问和关注阅读开源项目代码这个问题，比如「初学 Python，有哪些 Pythonic 的源码推荐阅读？」、「github中适合新人阅读的Python项目有哪些?」、「如何去阅读并学习一些优秀的开源框架的源码？」等。本文将从推荐可阅读的Python...
Python 爬虫库 - Beautiful Soup 的使用 - 后端 - 掘金
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库，简单来说，它能将HTML的标签文件解析成树形结构，然后方便地获取到指定标签的对应属性。 如在上一篇文章通过爬虫爬取漫画图片，获取信息纯粹用正则表达式进行处理，这种方式即复...
怎么样优雅的使用 python 里面的多线程 - 后端 - 掘金
关于臭名昭著的"GIL"严重阻碍了python多线程在实际工程上的应用，很多人理直气壮的说：“为什么要用python里面的多线程，它的速度比单线程还慢”。实际上，这句话对了一半，在计算密集型任务中，由于GIL的存在，即使你的电脑是多核超棒，但是任意一个时刻只能...
用 Django 实现一个更实用的博客系统，让写作更简单，更愉快。 - 掘金
July 用Django实现一个更实用的博客系统，让写作更简单，更愉快。 Demo 博客相关页面 博客首页 home 博文详情 article 后台管理相关页面 后台首页 admin 添加文章 add-article 文章列表 artic...
优雅的在终端中编写 Python - 后端 - 掘金
前言 最早我也只是在服务器上编辑文件的时候用用vim来改改程序，并没有把vim当做自己的主力编辑器。但是偶然的一次机会需要改一个奇葩的输入文件的格式，用了下Vim的宏录制，尝到了甜头，于是后面就开始用Vim来写程序了，虽然使用初期有些阻力，但时间久了就会发现，...
爬虫入门系列（一）：快速理解 HTTP 协议 - 掘金
4月份给自己挖一个爬虫系列的坑，主要涉及HTTP 协议、正则表达式、爬虫框架 Scrapy、消息队列、数据库等内容。 爬虫的基本原理是模拟浏览器进行 HTTP 请求，理解 HTTP 协议是写爬虫的必备基础，招聘网站的爬虫岗位也赫然写着熟练掌握HTTP协议规范...
学习笔记一：改善 Python 程序的 91 个建议 - 后端 - 掘金
第 1 章 引论 建议 1：理解 Pythonic 概念 Pythonic Tim Peters 的 《The Zen of Python》相信学过 Python 的都耳熟能详，在交互式环境中输入import this可以查看，其实有意思的是这段 Python...
Python 高级编程：完全理解生成器 - 掘金
生成器是 Python 初级开发者最难理解的概念之一，虽被认为是 Python 编程中的高级技能，但在各种项目中可以随处见到生成器的身影，你得不得去理解它、使用它、甚至爱上它。 提到生成器，总不可避免地要把迭代器拉出来对比着讲，生成器就是一个在行为上和迭代器非...
Python: 陌生的 metaclass - 后端 - 掘金
元类Python 中的元类（metaclass）是一个深度魔法，平时我们可能比较少接触到元类，本文将通过一些简单的例子来理解这个魔法。 类也是对象在 Python 中，一切皆对象。字符串，列表，字典，函数是对象，类也是一个对象，因此你可以： 把类赋值给一个变...
Flask 10 天开发一个网站 - 后端 - 掘金
pkyx是一个用Flask+MongoDB开发的比较（维基）网站。 Day 1：配置远程开发环境 首先在 Paralles Desktop下安装了64位的Ubuntu 15.04版本，里面配置了nginx和virtualenv。 在Ubuntu中新建一个目录...
【深入 Python 编程】Python 与设计模式 -- 工厂类相关模式 - 后端 - 掘金
一、快餐点餐系统（1） 想必大家一定见过类似于麦当劳自助点餐台一类的点餐系统吧。在一个大的触摸显示屏上，有三类可以选择的上餐品：汉堡等主餐、小食、饮料。当我们选择好自己需要的食物，支付完成后，订单就生成了。下面，我们用今天的主角--工厂模式--来生成这些食物的...
Python 数据结构 - 中文版 - 后端 - 掘金
介绍 problem-solving-with-algorithms-and-data-structure-using-python 中文版 目的 数据结构作为计算机从业人员的必备基础，Java, c 之类的语言有很多这方面的书籍，Py...
- 一个简单的例子 在Python中，如果我们想修改列表中所有元素的值，可以使用 for 循环语句来实现。 例如，将一个列表中的每个元素都替换为它的平方： >>> L = [1, 2, 3, ...
Python 标准库之 functools/itertools/operator - 后端 - 掘金
本文为作者原创，转载请先与作者联系。 同发于SegmentFault和简书 引言 functools, itertools, operator是Python标准库为我们提供的支持函数式编程的三大模块，合理的使用这三个模块，我们可以写出更加简洁可读的P...
Python 一周笔记 - 后端 - 掘金
主题 邮件处理 日志模块 pdf处理 md5 ...
跟我一起来实现一个 ORM - 后端 - 掘金
最近在做 Tech Builds 的新闻页的时候，用到了很多爬虫方面的技术。虽说在爬虫方面已经有较为完善的 Scrapy 等框架可供调用，但是还是希望自己从头来完成一个这样的爬虫框架，在使用上希望尽可能简单。 恰好之前有个同学刚刚也在写一个爬虫，问到我怎么写...
Python 设计模式——工厂方法 - 后端 - 掘金
工厂方法是处理不指定对象具体类型情况下创建对象的问题。 定义一个创建对象的接口，但让实现这个接口的类来决定实例化哪个类。工厂方法让类的实例化推迟到子类中进行。 在面向对象程序设计中，工厂是一个用来创建对象的对象，是构造方法的抽象。 工厂对象一般拥有多个创建对...
百倍加速！Python 量化策略的算法性能提升指南 - 后端 - 掘金
原创文章，转载请注明出处：用Python的交易员性能问题Python在2016年里可以说是风靡国内量化投资圈，目前整个生态链已经初具规模：交易：vn.py、easytrader、at_py数据：tushare回测：rqalpha在线平台：UQER、RiceQu...
理解 Python 迭代对象、迭代器、生成器 - 后端 - 掘金
本文源自RQ作者的一篇博文，原文是 Iterables vs. Iterators vs. Generators，俺写的这篇文章是按照自己的理解做的参考翻译。在了解Python的数据结构时，容器(container)、可迭代对象(iterable)、迭代器(i...
Python 的命名空间解析 - 后端 - 掘金
摘要: 什么是命名空间 命名空间有哪些 变量查找原则 分析一个UnboundLocalError的例子 什么是命名空间首先说什么是命名空间呢！我们知道，在Python中，一切都是对象，然后通过name去引用变量。例如我们执行了一条语句a = 3,Py...
网友评论