聚合搜索 - 即学即码

15

12月

Centos7挂载2T以下及2T以上硬盘

问题如下最近公司内部来了几台二手服务器，这几台二手服务器都有多块磁盘，一块磁盘 500多G，一块磁盘 30T。我们把操作系统安装在 500G的磁盘上，等安装完就要挂载另一块次，然后就按照以前的方式进行磁盘分区，弄完以后发现，怎么只分区了一块 2T的分区? 然后就大致想了想，应该是分区方式不对，然后就搜索了下发现的确有这个区别。原始解释如下2T以上磁盘和以下磁盘分区格式：挂载2T以上的磁盘通常需要使用GPT（GUID Partition Table）分区格式，而2T以下的磁盘则一般使用MBR（Master Boot Record）分区格式。因为MBR分区格式所支持的最大硬盘容量是2TB，如果想使用更大容量的磁盘，就必须使用GPT分区格式。分区工具： 2T以下使用fdisk分区工具，但是对于硬盘容量大于2T时，这个命令就不管用了，因为MBR分区表只支持

19

9月

SNAT和DNAT原理和应用场景

问题最近我们在重新部署线上云主机的堡垒机环境，其中用到了OpenVPN。最后安装好了之后发现，客户端虽然可以连接服务端，但是无法访问外网等网站，也就是只能访问这一台堡垒机。分析过程我个人对网络其实不怎么熟悉，我就和上海一个在拼多多的运维朋友请教。最开始他也挺懵逼的，我们自己都在自己公司内网配置VPN 都没有遇到过这个问题。我们就觉得有几个点会出出问题：服务端配置有问题VPN客户端网络有问题服务器网络有问题服务器该虚拟网卡配置有问题第1点既然我们客户端工具可以连接上应该没问题排除。第2点我们在客户端连接的机器上面，可以通过内网地址直接登录到服务器说明，自己电脑网络没问题排除。第3点服务器本身可以访问外网，排除。为了确定是第4点的问题，我们使用了 Wireshark 进行流量抓包。发现目前就是

05

2月

Gitea - 企业搭建私有git服务器

缘由 git 目前已经是非常流行的版本管理工具了。当时我在安居客的时候就已经使用这个工具了。而代码私有化管理是正常的一个需求，因为代码也是公司的资产。这几年使用过好几个，最开始的是gitlab，我专门写过一篇文章：用GitLab搭建自己的私有GitHub。然后是gogs。目前我们使用的是gitea。Gitea gitea是从 gogs发展而来的，我个人使用过程发现感觉比gogs安装和使用都方便，还有是开源的。这点必修要佩服哪些开源的人和团队，因为有了这些开源工具才让我们研发效率更高更快。具体更详细的介绍，可以看官方文档，具体链接我放在参考资料部分了。准备gitea需要数据库记录基本信息，数据库我选用的是MySQL安装二进制安装最简单，参考地址：二进制安装文档。下载执行就好了wget -O gitea https://dl.gitea.io/gitea/

17

1月

OpenVPN实现客户端分流

　　问题由于公司使用了OpenVPN来保证网络的安全，但是发现每一次连接上VPN之后整个网络都变成服务器的出口IP了，这时候网络就非常慢了，并且这样也不对，应该需要走OpenVPN的再走。这时候就需要配置分流了。配置在服务端和客户端改一个都可以，由于改服务端影响比较大，所以那就改客户端的配置客户端路由分流路由控制需要由三个参数进行定义：route-nopull如果在客户端配置文件中配route-nopull，openvpn连接后将不会在电脑上添加任何路由，所有流量都将本地转发。vpn_gateway如果在客户端配置文件中配vpn_getaway，默认访问网络不走vpn隧道，如果可以通过添加该参数，下发路由，访问目的网络匹配到会自动进入VPN隧道。route 10.0.0.0 255.255.255.0 vpn_gateway route 172.

14

1月

NFS - CentOS实现服务器之间共享文件

　　缘由前面不是写过一个文章局域网内网机器上网实操。基于这个情况，有时候需要某台机器的文件夹或者文件要被其他机器共享。假设服务器如下服务器名称操作系统IP描述服务器ACentos7.9192.168.1.10文件服务器服务器BCentos7.9192.168.1.11需要访问服务器A的文件技术方案技术方案肯定比较多，例如可以直接 scp 复制服务器A的需要文件到服务器B。还有一种方式可以共享挂载 :NFSNFS网络文件系统，英文Network File System(NFS)，是由SUN公司研制的UNIX表示层协议(presentation layer protocol)，能使使用者访问网络上别处的文件就像在使用自己的计算机一样。NFS是基于UDP/IP协议的应用，其实现主要是采用远程过程调用RPC机制，RPC提供了一组与机器、操作系统以及低层传送协议无关的存取远程文件的操作。RPC

17

1月

大数据查询 ELK 之 ES集群搭建

缘由前面我们讲解了 ELK 的搭建过程。最近在处理系统数据发现了一个问题，一个ES节点处理太慢了，基本上要20多个小时才能处理完。这样我们就只能增加ES节点，部署集群模式了。当前是这种单节点服务集群搭建目的要搭建成3节点的服务器，其中3个节点是主节点也是数据节点其实配置ES集群是比较方便了，大家主要几个参数就可以了，主要注意以下几个参数就好了#集群的名字 cluster.name: app-data #节点的名字 node.name: node-1 #节点是否为master节点 node.master: true #节点是否为数据节点 node.data: true #发现节点，一般三个就够了，不需要配置所有的节点 discovery.zen.ping.unicast.hosts: ["192.160.10.1:9300","192.160.10.2:9

05

2月

公司生产环境网络安全升级过程

缘由随着公司研发人员越来越多，为了安全控制要对服务器访问进行控制。为了让线上服务器更安全，所以要进行技术改造。如下图是以前的架构图图。技术人员主要通过SSH到堡垒机在通过堡垒机去链接其他服务器或者数据。此时堡垒机是要暴露一个公网SSH端口在外面的，这样不太安全。所以想到了用VPN解决改变之后的架构图对比之后我们可以发现，SSH线路被VPN取代了，这样我们就可以把SSH的端口关闭掉，只使用VPN就可以直接到堡垒机了。这样我们就需要在堡垒机服务器安装一个VPN服务就可以了。关于VPN软件相关东西就不细说。本来写了很多内容，微信公众号那边提示违规了，那就去掉了，机制的你们肯定可以找到对应的解决方案。参考脚本点击这里。当连接上VPN，这时候你就相当于在堡垒机服务器上面了，直接可以连接业务服务器了。至于如何控制每个用户可以登录哪些业务服务器需要增加业务系统，我们内部自己用Python开发了一套CMDB

11

10月

/lib64/libc.so.6 错误导致的系统崩溃

　　缘由我们有个同事要安装一个软件，就用yum 安装，然后就悲剧。安装完成之后发现无论执行任何命令都会报错，如下错误psgrep: relocation error: : /usr/lib64/libpthread.so.0: relocation error: symbol __libc_dl_error_tsd, version GLIBC_PRIVATE not defined in file libc.so.6 with link time reference/usr/lib64/libpthread.so.0: symbol __libc_dl_error_tsd, version GLIBC_PRIVAT

11

10月

php 间歇性报 Segmentation fault

缘由大概9月份有一个脚本总是无法正常执行完，后来手动执行总是会看到出现 “ Segmentation fault ” 错误。我就根据这个错误去搜索引擎查了下，大部分都说是内存错误，我以为是内存不够大，就修改了运行的内存。但是最后发现还是会出现这个错误。排查错误这种错误一般要生成core.dump文件方便分析，如何生成？如何分析？生成core.dump 默认是不生成的，需要执行如下命令打开。如果再出现上面的错误的时候就会生成 core.dump文件（在执行命令的当前目录）ulimit -c unlimitedgdb分析一般执行如下命令可以进行分析##安装gdb yum install gdb ##分析core文件,core.13

26

9月

Dell服务器安装OMSA管理工具

缘由最近购买了一批二手Dell服务器，由于一些原因远程控制卡没办法使用，所以只能安装OMSA管理工具OMSA 介绍 DELL OMSA的全称为Dell Openmanage Server Administrator，它是戴尔公司基于自主研发力量开发的IT系统管理解决方案，通过与业内领先的系统管理解决方案供应商密切配合，在深入了解用户对系统管理需求的基础上，OMSA系统管理方案可以全面解决系统管理人员最关心的系统部署、系统监控和系统变更三大系统管理问题。它通过提供以下两种方式来对本地和远程的服务器进行管理和监控。1、基于Web浏览器的集成图形用户界面(GUI)2、操作系统的命令行界面(CLI)工具大家可能对DELL的IDRAC更熟悉一点，OMSA其实就是 IDRAC企业版的开源社区版。这里列出IDRAC和OMSA的web界面，两者看着非常相似，功能上也是非常相似。IDRAC截图界面如下OMSA截图

18

9月

局域网内网机器上网实操

缘由最近我们接到一个客户项目，客户所有的东西必须部署在独立内网里面的，但是整个程序有一部分是需要访问外网的，可以理解为调用外部网址接口，所以我们就要出一个方案来解决这个问题。假如内网服务器列表如下服务器名称操作系统IP描述服务器ACentos7.9192.168.1.10程序服务器服务器BCentos7.9192.168.1.11程序服务器服务器CCentos7.9192.168.1.12这台机器可以上外网，交换机上专门配置的技术难点由于我个人对于网络这块连半吊子都算不上，所以只能说硬着头皮上并且还要考虑安全问题。在做的过程中请教了以前安居客的网络工程师大神，一路走下来，算是磕磕碰碰搞定了，虽然不是那么正统，最起码问题解决了。遇到问题主要如下需要一个 http/https 代理，让程序的接口可以访问出去yum 安装软件如何在线安装git 可以使用ssh协议进行clone 更新禁

27

8月

【Selenium学习笔记】分布式部署

为什么需要分部署部署对于一般数据量不太或者对浏览器要求不多样化没必要多台机器部署。多台机器部署主要解决以下。数据量比较大，一台机器无法承受所有的请求需要不同的浏览器环境可远程调用，把业务代码和浏览器操作分离环境准备我们需要提前准备多台机器（可以是虚拟机）。由于是java的所以需要配置相对来说搞一些，个人建议最低2核4G主机名IP配置描述test-001192.168.40.52核4G主节点 + 任务节点（chromedriver + chrome浏览器）test-002192.168.40.62核4G任务节点（chromedriver + chrome浏览器）开始部署架构下载官方下载地址：https://www.seleni

18

9月

【Selenium学习笔记】网页截图实践

　　缘由我们有一个产品牵扯到核查数据，在核查数据过程中会发现有一些违规网站，这一些违规网站我们要进行截图保留证据。如果是人工截图就非常麻烦，需要截图之后上传到系统，增加了大家的工作量，我们就想着试着程序自动化截图解决方案由于我们爬虫都使用的python selenium 调用的chrome无头浏览器，所以我们依然选择了selenium调用chrome进行截图。截图核心代码如下，非常简单###核心代码如下 driver.get( url ) #初始化一个屏幕大小 driver.set_window_size(1400, 900) ##通过脚本获取页面宽和高，设置窗口大小 width = driver.execute_script("return document.documentElement.scrollWidth"

24

4月

　　缘由由于个人经常在ubuntu和centos 系统中切换，习惯了以前的 ubuntu中通过 /etc/init.d/xxx 进行软件服务控制。后来发现centos7中换了服务的控制方式：serviceservice关键字service httpd start 其实是启动了存放在/etc/init.d目录下的脚本。但是centos7的服务管理改规则了。CentOS 7继承了RHEL 7的新的特性，例如强大的systemctl，而systemctl的使用也使得以往系统服务的/etc/init.d的启动脚本的方式就此改变，也大幅提高了系统服务的运行效率。但服务的配置和以往也发生了极大的不同，说实在的，变的简单而易用了许多。CentOS 7的服务systemctl脚本存放在：/usr/lib/systemd/，有系统（system）和用户（user）之分，像需要开机不登陆就能运行的程序，还是存在系统服务里吧，即：/usr/lib/systemd/system目录下每一个服务以.service结

26

8月

【实战】Docker入门实践二：Docker服务基本操作和测试Hello World

操作环境操作系统：CentOS7.2 内存：1GB CPU：2核Docker服务常用命令docker服务操作命令如下service docker start #启动服务 service docker stop #停止服务 service docker restart #重启服务 service docker status #查看服务状态启动Docker服务docker是一个CS模型，需要先启动服务端，直接执行 sudo service docker start 启动docker服务。sudo service dokcer start service docker status # 检查服务状态HelloWorld 初体验直接运行 sudo

26

8月

【实战】Docker 入门实战一：ubuntu 和 centos 安装Docker

Docker是什么Docker 是一个开源的应用容器引擎，基于 Go 语言并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重要的是容器性能开销极低从这个解释我们不知道大家有没有想到一个优点类似的东西，没错就是 Vagrant : vagrant打造跨平台可移动的开发环境 ,那么这两个东西有什么区别咧？Docker 与 Vagrant的区别从字面意思上来讲，这两个东西都可以实现虚拟化。Vagrant 是基于Virtualbox等虚拟机软件的实现的（Vagrant 本身并不提供虚拟技术，只是调用Virtualbox等提供的接口，进行虚拟机的管理），而Docker是基于LXC轻量级容器虚拟技术。一般我们用Vagrant来部署开发环境，Do