从gitee到codeup,我经历了什么？
前言gitee是目前国内做的比较好的公共git托管仓库和开源交流平台，codeup是阿里云的企业git托管，包括一整套devops的解决方案。 这篇文章主要分享一下我最近将代码从gitee迁移到codeup并且将几乎所有的devops都迁移到flow的过程。 为什么？主要还是想要一个简洁的git仓库管理平台和完善的devops生态系统，codeup早期时候使用过，但是没有这次的感觉这么惊艳，当一个产品让你产生了惊艳的感觉的时候，你可能已经想迫不及待的尝试它了，我也是这样，codeup恰好就是我想要的样子。 迁移过程迁移过程总的来说分为三大步； 同步所有的gitee仓库到codeup 所有的自动部署、自动打包等的流水线迁移 适配和github的sync Step1：同步现在所有的git仓库幸运的是，codeup支持一键同步很多平台的仓库，gitee恰好就被快速而便捷的同步到了codeup中，唯一出现的波澜就是：codeup是默认以代码组来创建仓库的，有点类似gitlab中project的概念，然而作为一个个人开发者,我不需要组别进行管理，这个时候在同步仓库的时候就把仓库的地址修...
github自动同步到gitee最佳实践
前段时间对github同步到gitee并且实现自动化devops写了一篇简单版的文章，后期也遇到了很多问题，这篇文章主要解决遇到的痛点。 痛点 仓库数量多的情况下每个都需要配置，十分繁琐。 如果统一配置在一个github action中时单个仓库提交无法被感知。 github的私有仓库如果gitee没有则会被原来的github action创建为公有仓库，隐私信息容易被泄露。 解决方案遇到问题是正常的，我们需要思考如何去解决问题，也需要针对具体的问题去解决问题，如果可以一劳永逸当然是最好的，然而大多数情况下不能，只能一步一步的探索。 Q3解决方案先从问题3开始解决，只需要去查看对应的api文档，看看有没有对应参数，查看了文档之后发现有，然后去分析对应的github action的代码然后fork到自己的账户下面，去改动对应的代码即可，我这边已经改动完了，提交到PR但是因为理念原因目前没有被merge，可以直接上github查看我的fix。 giteeApi文档 githubApi文档 自行修改的创建私有仓库的pr Q1和Q2解决方案多个仓库配置和单个仓库配置其实是冲突但...
从github迁移到gitee和以coding为基础的的全链路devops
前言文章的标题起的比较长，实际上这篇文章将以我的hugo-blog项目为例，讲述一下我将代码提交到github，然后自动同步到gitee，再根据gitee的webhook通过coding的持续集成部署的整个过程。 感谢github、gitee的给我们个人开发者提供足够的资源来完成这一系列的数据存储过程，也感谢coding提供的在我认为目前足够使用的持续集成功能，关键是这整个过程都是不需要付费的，需要的是灵快的小脑筋以及网上前人的经验罢了（文章中会用一些英文单词，避免敏感词汇，敬请原谅）。 为什么迁移事情的起因由俄乌战争引起，我认为没有战争是正义或者邪恶的，因为史诗是由胜利者书写的。 一直以来秉承一个原则：技术是自由的，它不能也不应该掺和到politics中去。 然而真实的情况是：技术必须与politics共存，它是在保证politics下才有的产物。 从这次俄乌战争中就可以看出来，以USA为首的西方国家彻底粉碎了技术是自由的谎言，甚至开源也不是自由的，由人主导的所谓的开源并非自由，从React到Github等一系列国外的开源软件的官网就能看出来很多现实：当我们的国家发生战争时，甚...
CentOS7升级Git版本
前言在将自有云服务器导入到coding中作为持续集成的云主机时，提示git版本太老，所以无法继续进行安装，所以参考一篇文章对Centos 7上的Git进行了重新安装升级。 查看当前服务器的git版本 1git --version 查看当前的系统版本 1cat /etc/redhat-release 安装依赖本次我们安装git使用编译源代码的方式安装，此前需要安装一些必要的依赖 12yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidocyum install gcc perl-ExtUtils-MakeMaker 卸载旧版本直接使用yum将git的旧版本remove掉 1yum remove git 编译安装GitGit软件包可在此获取： https://mirrors.edge.kernel.org/pub/software/scm/git/ 我发现源代码不区分你的CPU架构，直接找最新的版的下载即可 1git-2.9.5.tar.gz 安装步骤1234567...
Docker升级到最新版本
1、查看系统要求 Docker 要求 CentOS 系统的内核版本高于 3.10 ,查看CentOS的内核版本。 1uname -a 2、删除旧版本 1yum remove docker docker-common docker-selinux docker-engine 3、安装需要的软件包 yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的 1sudo yum install -y yum-utils device-mapper-persistent-data lvm2 4、设置Docker yum源 1sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo 5、查看所有仓库中所有docker版本 可以查看所有仓库中所有docker版本,并选择特定的版本安装。 1yum list docker-ce --showduplicates | sort -r 6、安装docker 1sudo y...
vue项目实现CDN动静分离及自动化部署
前世今生1410是刚毕业那会做一个毕业照展示网站项目。 早期使用的是Vue.js作为前端项目，Java作为后端项目。 中间将Python写的服务端替换了Java后端。 最后将Golang写的服务端替换了Python后端。 近期又做了一些前端方面的改造： 使用authelia作为Nginx层的SSO网关，设置为登录可访问（不能实现全站CDN的原因是需要NGINX层） 照片使用腾讯云CDN访问，并且为加快访问速度还使用了腾讯云的万象图片处理 抛弃后端接口，直接使用json存储照片列表 实现前端项目动静分离，引入CDN加快访问速度 使用coding的持续集成实现自动化部署 以后再也不用操心改完代码还要做一堆的操作让代码上线了，网站访问速度和安全性都得到了提升。 升级打怪过程这篇文章就主要介绍一下将vue项目build后实现动静分离和自动化部署过程，以及遇到的一些坑点。以下是1410前端项目的项目结构： 1234567891011121314151617|-- public //存放不可变静态资源 |-- index.html |-- favicon.ico |-- data....
minio改造支持tencent-cos
背景最近在调研一款能管理我的tencent-cos的在线管理端软件，然后调研了很多软件，之前试用过nextcloud发现一般，然后看中了minio，看评测说性能比较好，并且支持S3协议。 在实际使用过程中是使用的docker部署，具体命令如下,对应文档可以点击minio-gateway： 1234docker run -p 9000:9000 --name minio-s3 \ -e "MINIO_ACCESS_KEY=access_key" \ -e "MINIO_SECRET_KEY=secret_key" \ minio/minio gateway s3 https://cos.ap-beijing.myqcloud.com 然而在我将信息填入以后，发现始终无法创建,提示：ERROR Unable to initialize gateway backend: Could not parse the specified URI.然而通过中心搜索并不能寻找到结果，然后使用全英文搜索就找到问题所在了，原因是：tencent-cos的buc...
程序员抢火车票攻略-用技术创造美好生活
背景春运已至，又到了回家团圆的时候了，现在春运抢票越来越难，原因是很多人开始使用技术来抢票，在高配置高带宽的服务器上抢票几率要稍微高一点，希望我这篇文章能帮助正在阅读的你抢到回家的火车票。 2021年始开始从win转向了macos，再也没有win机器了，然而抢票软件是12306分流，目前还只能在win服务器上运行，所以就想起了云服务器，我自己也有好几个服务器，但是都是centos服务器，上面有服务器在运行，然后我就想起了阿里云的抢占式实例服务器。 说干就干，用抢占式实例服务器（2H4G5M费用大概5毛钱一小时）成功抢到了回家的高铁票，所以将教程分享出来。 上阿里云（腾讯云）注册账号、实名认证直接上阿里云 官网进行注册和实名认证即可。 由于按量付费服务器或者抢占式实例服务器是后付费账单，这时候需要提前充值好金额（建议100及以上），用完服务器费用支付完成后可以直接将剩余的费用提现出来。 抢占式实例购买步骤阿里云购买服务器大致上分为五个步骤：基础配置->网络和安全组配置->系统配置(选填)->分组配置(选填)->确认订单，还可以在确认订单步骤将该次的配置保...
mysql的table复制
起因前段时间在鼓捣数据表的数据上线，主要流程是将线下的数据同步到线上去，线上的部分需要需要和线下保持一直，并且每一次操作都需要自动化将表进行备份， 这个过程主要是靠自己进行代码同步，因为规则比较自定义，所以没有使用一些现有的数据同步。 主要流程如下： 123456789- #备份NX的SCHEMA中的表并查询特定数据进行备用NX-SCHEMA: 备份NX-TABLE ==> NX-TABLE_COPY ==> SELECT * FROM NX-TABLE_COPY WHERE ID =xx- #备份JAPAB的SCHEMA中的表并且将上一步的数据写入到备份表中JAPAN-SCHEMA: BEFEN JAPAN-TABLE ==> JAPAN-TABLE_COPY ==> INSERT INTO JAPAN-TABLE_COPY VALUE (xxx)- #将JAPAN的SCHEMA中的原表和备份表进行重命名，将备份表的表名变成源表名，完成数据上线JAPAN-SCHEMA: JAPAN-TABLE ==> RENAME JAPAN-TABL XXX =...
使用 Pulsar IO 打造流数据管道
本文翻译自 StreamNative 博客。博客原作者：Ioannis Polyzos，StreamNative 解决方案工程师。原文链接：https://streamnative.io/blog/engineering/2021-11-10-streaming-data-pipelines-with-pulsar-io/ 翻译背景今年以来就加入到了Pulsar的开源志愿者中，主要翻译一些英文文档以及做对Pulsar的深入研究。这是我翻译的一篇完整的外文博客，以此作为一个记录，相关文章已发布在StreamNative的公众号中。详情点击 背景构建现代数据基础设施一直是当今企业的难题。当今的企业需要管理全天候生成和交付的大量异构数据。然而，由于企业对数据的数量和速度等等有多种要求，没有“一刀切”的解决方案。相反，企业需在不同系统之间移动数据，以便存储、处理和提供数据。 粗看搭建基础设施的历史，企业使用了许多不同的工具来尝试移动数据，例如用于流式工作负载的 Apache Kafka 和用于消息工作负载的 RabbitMQ。现在，Apache Pulsar 的诞生为企业简化了这个过...