Redis 实现等待队列

前言

甲方爸爸:现在老平台流程不支持并发运行,能否写个等待队列,给用户一种感觉平台支持并发运行流程。

我:没问题。

于是乎,开始思考如何依托于现有的环境(MQ 和 Redis)实现等待队列。

Read More

Centos7 编译安装 Python3

引言

自从接触 docker 以后,我个人使用 docker 的频率越来越高,因为它部署方便又能保证环境干净(个人在环境配置上有点小洁癖)。但有时候有需要宿主机本身装一些环境,所以就有写了此篇博文,算是整合前辈们写的博文,以安装最少依赖包的方式安装 python 。虽然 CentOS7 即将停止维护,但目前我还是喜欢 CentOS7 。所以教程的环境为 CentOS7

Read More

图像叠加

引言

记一个生活中的小插曲,在使用 selenium 工具写自动化脚本的时遇到一个非常规的验证码登录情况,例如:上证服务通行证 。该验证码有 4 个字符,但是每次闪动其中 3 个字符(换句话说,当你使用截图工具截图只能截到其中 3 个字符)。解决思路也很简单,就是多张图片叠加出一张完整的验证码图片,然后再使用 ocr 识别验证码。

使用淘宝 npm 镜像装包

前言

由于众所周知的原因,中国大陆的服务器访问 npm 官方的仓库比较慢,等待下载总是心急如焚,关键要下载的包也不大,就更加让屏幕前的你着急了。为加快下载速度,使用淘宝 npm 镜像站来安装 NodeJS 包。

Read More

Force utf8 mode when sys.stdout.encoding is ASCII

引言

In some environments (particularly Docker), Python tends to start up with the locale set to ASCII. That means trying to print unicode characters raises an exception, like in our fancy display. Rather than requiring the user to explicitly set PYTHONIOENCODING=utf8, we rewrap stdout and stderr in UTF8 file objects.

I’m a little worried that this will break something down the line…

Read More

【转载】Kaggle 比赛的一些小套路

此篇为转载博文,原文链接:https://www.kaggle.com/c/mdd-cup-2018/discussion/63944

关于比赛流程和 leaderboard

基本是 数据分析、数据清洗、特征工程、模型训练、验证调参与优化 这样一些基本环节,下面再细说。

特别说明一下 Kaggle 在计算得分的时候,有 Public Leaderboard (LB) 和 Private LB 之分。具体而言,参赛选手提交整个测试集的预测结果, Kaggle 使用测试集的一部分计算得分和排名,实时显示在 Public LB 上,用于给选手提供及时的反馈和动态展示比赛的进行情况;测试集的剩余部分用于计算参赛选手的最终得分和排名,此即为 Private LB,在比赛结束后会揭晓。用于计算 Public LB 和 Private LB 的数据有不同的划分方式,具体视比赛和数据的类型而定,一般有随机划分,按时间划分或者按一定规则划分。大家可以合理利用 Public Leaderboard 的排名和反馈来适当调整自己的策略,但是不要太过依赖Public Leaderboard,有些时候它的数据分布和Private Leaderboard会有差异,不要在 Public Leaderboard 上过拟合哦,还是好好利用你的 validation set 吧,以便得到更好的泛化能力。

Read More

深入理解 Python GIL

引言

Python 的使用者都知道 Cpython 解释器有一个弊端,真正执行时同一时间只会有一个线程执行,这是由于设计者当初设计的一个缺陷,叫 GIL ,全称 Global Interpreter Lock,但它到底是什么?我们只知道因为它导致 Python 使用多线程执行时,其实一直是单线程在执行任务,但是原理却不知道,那么接下来我们就认识一下 GIL

Github Action 同步仓库

引言

由于某些原因需要同步一个 Gitee 上的闭源仓库来学习里面的编程思想,但是每次看都需要 pull 一下仓库拉取最新代码比较麻烦,所以使用 Github Action 直接将代码拉到自己的私有仓库,方便自己学习。


Powered by Hexo and Hexo-theme-hiker

Copyright © 2018 - 2023 Leamx's Blog All Rights Reserved.

UV : | PV :