需求    我们都知道nginx日志里面有域名，同时也有用户的远程ip。但是ip其实我们看不出什么东西，我们知道通过ip其实可以查询一些地理位置信息出来的（很多网站都可以直接查的）。这个过程就是GeoIP：就是通过来访者的IP，定位他的经纬度，国家/地区，省市，甚至街道等位置信息。而在logstash里面就有一个解决这个需求的插件：logstash-filter-geoip数据格式    logstash-filter-geoip 本身不用安装，logstash默认已经安装了，如果您的没有安装，可以直接执行安装命令/usr/share/logstash/bin/logstash-plugin install logstash-filter-geoip    该插件有如下信息"geoip" => { &nb

缘由    我们在大数据数据里面有一类数据是 域名，例如 www.jixuejima.cn ,我们需要把 cn 和 jixuejima.cn 提取处理，这个其实就是TLD（TOP LEVEL DOMAIN）顶级域名解析过程。    大家看过我们前面ELK相关文章的，都知道我们处理过程是 FileBeat -> Redis -> LogStash -> ES 。在 聊聊公司的技术栈  这篇文章中我就说过这个过程，但是肯定很多人很郁闷，为什么不能直接从FileBeat 直接 到 ES。其实就是因为原始数据要结果处理之后才能进入ES，而FileBeat处理能力是有限并且是非常差的（至少我们在使用过程中发现就是这样的一个结果）。解决方案    logstash有很多插件可以用，找了很久发现了一个 ： https://gi

ELK简介ELK是什么？    elk是三个开源软件的缩写，分别是：Elasticsearch、Logstash、Kibana 。由于Logstash 客户端太占用资源，对服务器的要求比较高，后来FileBeat出现了 ,解决了资源问题，官方也推荐这个工具。    Elasticsearch：实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能    Logstash：日志收集，分析，过滤并转化到对应的存储库    Kibana：一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据    Filebeat：监控日志文件、转发。 需要收集数据的服务器端需要安装这个架构图如上图你可以看出来，FileBeat 将数据 通过队列 发给 Logstas