pip安装离线包以及绕过SSL

近日要将在虚拟机已经运行正常的爬虫程序安装到目标服务器上，目标服务器是centos7，已经通过yum安装python36以及pip，但是当使用pip3安装相应的包时，会提示python没有SSL模块，无法下载。网上有给出重新编译的通过—with-ssl 这种方式，但是经过尝试，依然无法进行下载。通过多方资料的查找，可以通过以下的方式将源机器上的pip已经安装的包导出，在目标服务器上进行离线安装。

Trip in UK

准备工作

签证

我们从西安出发，本想着需要去北京办理签证手续，还好西安在18年开放了签证，所以不用那么麻烦再去北京了。办理流程也比较简单，如果你个人对填表翻译比较在行，完全可以自行办理，我比较懒，就从淘宝上找了一个代理，你只要提供所需的资料即可，一个人的费用是1100RMB左右，所需要的的资料包括身份证复印件 在职证明 户口本 银行流水，你只需要提交资料给淘宝卖家即可，他们会帮你填表翻译最后将资料整理好寄送给你，让你直接去签证地办理签证，可能是刚刚开放的原因，在西安办理签证，每人需要多500RMB费用。所以整个流程下来就是1600RMB了。办理地点在高新区的摩尔中心。

电话卡

电话卡也是在淘宝买的，买来后不能插卡，需要告知淘宝卖家从哪天开始激活，他们会帮你办理激活的流程，根据我后来在英国的使用经验（我购买的是O2运营商的），伦敦的4G信号非常的不好，在地铁里面O2基本上没有信号，如果你需要在地铁里面使用的话，可以在淘宝上具体搜索一下看看有没有哪个运营商在地铁里面的信号可以做到全覆盖。其实个人觉得O2基本上是够用了。选择15天20G流量应该是够了。

Minio

概览

Minio是一个基于Golang开发的高性能分布式对象存储应用，它兼容amazon的S3云存储服务接口，非常适合存储大容量的非结构化的数据，例如图片、视频、日志文件、备份数据以及镜像等，单个文件的大小从几KB到5TB不等。

Minio是一个轻量级的应用，提供了多种SDK与各语言平台对接。

下载

Minio提供了多种环境的安装包，如windows，mac，docker以及linux，相关说明请看Minio online doc ，这里主要说一下在linux下的安装和部署。

Minio Server

Minio server的下载地址

1

wget https://dl.minio.io/server/minio/release/linux-amd64/minio

下载到本地是一个文件名为minio的可执行文件

1

chmod +x minio

Spring cloud Gateway自定义限流

背景

产品中使用spring cloud gateway，需要实现根据请求报文中的字段值来实现限流，比如在双11场景下，需要对微信渠道进行限流，每秒不能超过10笔。

方案

首先是限流的实现，强大的spring cloud gateway已经为我们提供了一套限流的接口，并且实现了一套基于redis的限流方案，它使用的是令牌桶算法

spring cloud gateway 动态路由配置

动态路由的谓词设置

动态路由的谓词 predicates，主要分为以下几个类别：

ELK

目前ELK是业界比较流行的集中式日志解决方案，分别是ElasticSearch，Logstash，Kibana，他们都是elastic公司旗下的产品，所以也被成为ELK stack。

传统解决方案

• Elastic Search：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能
• Logstash： 数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；
• Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示；

Kafka部署手册

Step1 下载kafka

下载1.1.0版本，在服务器解压

1
2

tar -zxvf kafka_2.11-1.1.0.tgz
cd kafka_2.11-1.1.0.tgz

下载地址如下
kafka download url