什么叫做响应式网站,南宁小程序制作,装饰工程,如何查询网站的空间前言#xff1a;作为一个过来人#xff0c;我曾站在技术的门槛之外#xff0c;连电脑运行内存和内存空间都傻傻分不清#xff0c;完完全全的零基础。但如今#xff0c;我已成长为一名资深的k8s云计算运维工程师。回顾这段历程#xff0c;我深知踏上这条技术之路的艰辛与不…前言作为一个过来人我曾站在技术的门槛之外连电脑运行内存和内存空间都傻傻分不清完完全全的零基础。但如今我已成长为一名资深的k8s云计算运维工程师。回顾这段历程我深知踏上这条技术之路的艰辛与不易也明白方向和方法的重要性。
想要在这个领域入行并拥有出类拔萃的技术扎实的基础、对高级架构的理解以及丰富的实战经验缺一不可。需要沿着基础、高级架构、实战进阶这三大板块所细分出的技术点一步一个脚印地学习。初次看到这么多技术要点心生畏惧是再正常不过的反应我自己刚开始时也被唬住了。
好几年前我独自一人奔赴北京决心为梦想拼搏。为了专注学习技术我戒掉了心爱的游戏。工作日里我沉浸在技术的海洋中努力汲取知识周末本应是休息放松的时光我却选择泡在教室里认真复习巩固一周所学就这样日积月累才打下了坚实的基础。
在接触这些技术之前会觉得它们高不可攀仿佛攀登陡峭的山峰困难重重。但当你真正深入其中随着知识和经验的积累就会惊喜地发现许多操作早已得心应手无需刻意思索就能完成这便是“知行合一”的境界。
这篇博客是我为大家精心准备的入行技术线路图希望能为你们指引方向。如果想更高效地掌握这些技术我强烈建议像我当年一样进行系统的学习。如今网络上的学习资料铺天盖地看似丰富实则零散。面对海量信息你很难分辨哪些是重点哪些内容需要深入钻研这不仅会耗费大量时间还可能因错误的引导而走弯路。
如果你渴望像我一样系统学习少走弯路欢迎随时联系我或者也可以联系我的师姐我们非常乐意帮助大家开启这段充满挑战与机遇的技术之旅。
基础课程
阶段一:系统管理基础篇
一、 行业介绍和计算机基础
中大规模互联网业务系统的典型组件与典型架构(硬件体系(数据中心:服务器、网络设备、存储设备)和软件体系(业务系统、中台系统和支撑系统)简介)IT部门岗位分类(研发、测试和运维)及职责介绍以及泛运维领域岗位职责分类一个互联网业务系统的运维能力发展典型阶段:人工运维、脚本和工具化运维、平台化运维、自运维系统数据中心:网络和网络设备、服务器设备、存储设备、供配电系统硬件系统:服务器和网络设备简介软件系统:系统软件和应用软件操作系统和Linux a.Ubuntu 2204–Ubuntu 2404 b.国产化Linux(选一):麒麟、统信UOS、深度、OpenEular主机虚拟化程序和Linux系统安装云主机的基本使用(可基于私有云桌面版Ubuntu系统镜像):创建、启动和接入到终端等
二、Linux系统基础及常用命令
Linux用户账号基础;Linux系统访问接入:桌面和命令行简单介绍以目录和文件管理为例对比演示说明: a.在桌面环境(GNome或KDE)演示如何创建、移动、删除文件和目录 b.在命令行环境演示相关的功能并对比演示命令执行结果终端: a.终端类型及当前系统终端 b.交互式接口及shell基础 c.shell内部外部和外部命令 d.命令别名常见的系统命令以及shell的常用特性:命令的使用帮助:善用帮助信息、搜案引擎和ChatGPT:
三、文件管理命令和IO重定向
Linux的文件系统层级结构标准(FHS)及路径遍历Linux系统上的文件类型及标识方式文件时间戳atime、ctime、mtimeglob通配符*、?及常用字符集合表示等特殊符号目录管理类命令:mkdir、rmdir、tree文件管理工具:cpmvrm及单源复制和多源复制链接文件的创建In[-s]及符号链接与硬链接区别I/O重定向之输入重定向、输出重定向、错误输出重定向tr命令、tee命令及特殊文件文件/dev/null和/dev/zerO多命令执行管道概念
四、用户管理、权限管理和文本处理工具基础
Linux的用户、组、权限基础进程安全上下文及用户和权限管理模型用户和组的配置文件/etc/{passwd,shadow,group,gshadow} 文件字段说明敏感文件操作命令 vipw、vigr、pwck、grpck和getent简介用户和组管理命令: a.useradd,usermod、userdel、passwdchage b.grouadd、groupmod、groupdel c.id、su文件权限管理 rwx权限体系介绍文件属主属组操作命令chown和chgrp以及权限修改命令chmodumask 和默认权限suid、sgid、stid 特殊权限chattr、lsattr特殊属性访问控制列表ACL setfacl、getfacl命令vim编辑器基础应用、可视化模式、文件查找、多窗口模式文件常用命令cat、more、less、head、tail等命令文本查看及处理工具wc、cut、sort、uniq、diff和patch等命令
五、正则表达式、文件查找和压缩
基本正则表达式及扩展正则表达式文本搜索工具:grepegrepfgrep文件查找非实时查找locate命令简介文件实时查找find命令 a.查找条件:-name、-iname、-regex、-user、-group、-type、-size、-perm b.处理动作:-print、-ls、-delete、-fls、-ok、-exexargs命令及find组合文件压缩工具qzip、xz、zip、tar及各自的解压缩的使用流编辑器sed工作原理:模式空间、保持空间讲解sed命令常用选项-n、-e、-f、-r、-i讲解与示例演示sed命令地址定界:空地址、单地址、地址范围、步进表示法sed命令常用的编辑命令d、p、a、i、c、w、r、、!、s///讲解与示例分析
六、shell编程基础
bash脚本规范及执行方式本地变量、环境变量、局部变量、位置参数变量逻辑组合与或非配置文件profile类、bashrc类、以及logout类文件详解算术运算let VAR算术表达式、VAR [ 算术表达式 ] 、 V A R [算术表达式]、VAR [算术表达式]、VAR((算术表达式))、VAR$(expr $ARG1 $OP $ARG2)算术运算状态返回值$?及参数传递$1、$2、$3…用户交互及read命令等条件判断三种方式:test EXPRESSION[EXPRESSION]测试类型:数值测试、字符串测试、文件测试、命令返回状态以及组合条件(与、或、非)选择执行之if语句:单分支多分支及示例选择执行之case语句
七、软件管理
Linux程序包管理器基础及程序包的组成rpm包管理器常用命令rpm命令的安装-i、升级-U、卸载-e、查询-q、校验-V等rpm管理的前端工具yum介绍常见的yum仓库配置与使用yum/dnf命令的用法安装install、升级update、卸载remove、缓存构建makecache、包组管理groupin-stall、groupupdate grouplist、groupremove 、groupinfo自建yum仓库介绍createrepo工具的使用ubuntu的dpkg包管理器管理deb包deb包的管理工具apt/agt-get使用deb仓库配置及加速程序包源码编译安装三步走:./configure、make、make install源码安装后的配置;环境变量等
八、 磁盘存储和文件系统
linux磁盘管理之硬盘结构及分区基础磁盘分区管理命令fdiskgdiskparted的使用文件系统组织原理和常见的虚拟文件系统ext系列、xfs、iso9660、nfs、vfat、swap文件系统创建mkfs与管理工具fsck、blkid等挂载mount及挂载选项和umount、fuser、lsof命令的使用swap分区的创建mkswap启用swapon和禁用swapoff开机挂载及/etc/fstab文件及du、df命令常用级别:RAID-0,RAID-1RAID-5,RAID-10,RAID-50,JBOD与相关概念详解LVM2工作原理及相关概念详解LVM2软件创建管理工具以及卷的扩展与缩减
阶段二:系统管理进阶篇
一、网络协议和网络通信
计算机网络通信及OSl七层模型概述OSI七层模型:物理层、数据链路层、网络层、传输层、会话层、表示层和应用层网络设备概念MAC、网桥交换机工作原理的讲解网络层:IP网络、子网、超网及报文路由透辑地址IPV4和IPV6网络地址、子网及其功能路由设备及相关的路由协议简介路由分类:网络路由、主机路由、默认路由详解VLAN及其工作机制简介TCP/IP协议栈介绍和分层传输层:TCP协议进程通信原理及TCP的有限状态机及其特性进程通信方式:IPC及Socket介绍IANA端口分配标准(特权端口:0-1023、注册端口:1024-49151动态端口:49152应用层协议简介介绍常用的http/https等IP层、IP协议结构和分类网络地址规划和网络划分
二、Linux网络属性配置及相关工具的应用
Linux网络配置文件子网掩码、网关、等参数详解网络管理相关命令ifconfiq、route、netstat命令讲解iproute家族ip link、ip address、ip route、ss命令nmtui及nmcli命令详解bondinq和team技术网桥bridge实现常见的网络客户端工具pingmtr,traceroutetcpdump等Ubuntu系统网络配置专用工具netplan用法介绍Ubuntu实现bonding和网桥功能
三、shell编程进阶
循环执行之for语句详解与示例循环执行之until语句和while语句bash脚本编程之break、continue、跳出循环实例bash编程之while循环及for循环特殊用法示例function及函数的生命周期详解函数的递归与返回return、传参数组定义、声明及引用方式的讲解非稀疏数组及关联数组相关概念及基础讲解字符串切片${var;offset:number}:基于模式取子串、查找替换、详解信号的相关基础列出trap -l、kill -l、man 7 signal(选讲)信号的捕捉及应用:HUP、INT
四、进程管理和计划任务
Linux进程和线程:父进程fork自身产生子进程Linux内存和进程结构同一主机进程通信方式和不同主机通信方式进程的类型:守护进程和前台进程与状态:running、ready、sleeping、zombie、stopped及分类Linux进程管理工具ps、uptime、top、htop、vmstat、lsof等命令Linux作业控制jobs、fg、bg、kill及进程优先级nice值调整Linux任务计划at命令和周期性任务执行crontab命令详解
五、Linux启动流程、配置内核参数和AWK
Linux操作系统的组成部件: a.静态Linux操作系统的组成部分:内核根文件系统 b.运行中的llnux系统环境介绍:内核空间用户空间内核的设计流派及linux内核的特点:模块化、支持动态装卸载Linux系统初始化基本流程以及传统系统运行模型下的7种启动级别简介grub2启动引导程序配置及命令行接口、单用户模式及救援模式修复grub2内核模块管理相关的命令lsmod、modprobe和insmode简要说明常见的内核参数讲解伪文件系统目录/proc和/sySSystemd及其功用、Unit常见类型、系统服务管理命令systemctlsystemd运行级别管理:target unit格式、常用参数及编写要systemctl命令的常见用法:级别查看、切换、关机重启文本格式化工具awk工作原理awk命令用法示例讲解awk内建变量F5、OFS、RS、ORS、NF、NR、FILENAME使用示例讲解awk处理动作打印print与格式化打印printf命令详解awk进阶之数组和函数示例及讲解
六、 域名解析和DNS服务
应用层协议DNS起源与发展DNS服务选代与递归查询原理DNS区域数据库文件资源记录A、AAAA、PTR、SOA、NS、CNAME和MX详解主从DNS股务器工作机制bind程序的安装于使用DNS正向区域、反向区域与缓存dns的配置演示rndc、dig、host、nslookup工具使用bind的从DNS服务器的配置子域授权bind中的基础安全相关的配置CDN工作原理httpDNS简介在公有云中配置DNS解析
七、通信安全和时间同步
网络通信中安全机制和各种攻击方式介绍对称加密、非对称加密算法及单向哈希算法介绍PKI体系介绍以及基于0penSSL等创建私有CA实现数字证书颁发https通信流程详解ssh协议介绍0pensSH服务安装、配置和优化sudo体系及实现权限委派案例
八、NFS、Rsync服务和rsyslog日志
NFS协议及工作机制NFS服务配置及应用利用Rsync和Inotify同步数据利用sersync实现实时数据同步rsyslog及服务器配置日志转储
阶段三:HTTP与高性能Web应用
一、HTTP协议工作模型和httpd基础配置和应用
基于Web的服务架构介绍以及常见的企业Web架构案例常见的网络I/O模型及同步/异步消息通知机制讲解以及多路I/0复用select、pol和epoll对比说明HTT协议基础、HTTP事务的处理流程及超文本标记语言简介Web服务中动态资源和静态资源URL统一资源定位符标识资源的方式及资源间的referenceRequest报文语法格式与Response报文语法格式Request报文之请求方法GET、HEAD、POST、PUT、DELETE、TRACE、OPTIONSResponse状态响应吗1xx、2xx、3xx、4xx、5xx及常见得状态响应码HTTP协议中的Cookie和SessionApache httpd应用安装和配置说明配置和使用虚拟主机配置和使用https虚拟主机通用网关CGI标准、php编程语言、Zend Engine解释器、加速器相关概念介绍配置LAMP动态Web环境并部署Wordpress示例
二、Nginx基础
Nginx程序架构及工作机制Nginx安装、配置文件语法格式及基本应用以及平滑升级和回滚Nginx全局配置段及关键配置参数http块配置、Location、虚拟主机配置及应用以及https虚拟主机基于域名的企业PC站点与移动站点rewrite模块功能、配置参数及配置案例Nginx防盗链及跨域资源调用(Cors)压力测试工具ab、及curl、elink、htpasswd命令
三、Nginx反向代理(http和fastcgi)和优化
Web反向代理及其工作机制七层代理ngx_http_proxy_module模块、缓存服务及配置案例(Nginx–httpd–php module(word-press)–MySOL)负载均衡机制(四层和七层)及其应用场景介绍Nginx七层调度模块ngx_http_upstream module工作机制、调度算法及使用案例nginx模块应用之ngx_http_headers_moduleNginx四层代理和调度模块ngx_stream_upstream工作机制及使用案例LNMP:FastCGl协议、ngx_http_fastcgi_module模块工作机制及使用案例(Nginx–php_fpm(word-press)–MySQL)Nginx的二开版OpenResty和Tengine简介
四、Java、JSP、Tomcat及应用运行案例
lava编程语言及技术体系结构规范概述Java 2SE (JDK)及企业级类库jsp、servlet简介Web Container的开源实现Tomcat历史介绍Tomcat的顶级组件、服务组件、连接器组件、容器类、被嵌套类组件、集群类组件等核心组件介绍Tomcat的JDK环境安装及tomcat的安装部署:OpenJDKTomcat、OracleJDKTomcatJSP WebAPP组织结构及webapp归档manager及host-manager的配置及应用Tomcat的配置定制:连接器、虚拟主机、Context及访问日志等JSP Web应用程序的部署示例(JPress)及部署webapp的相关操作基于Nginx进行负载调度及动静资源分离分发方式
五、Tomcat集群和JVM
Maven工程工具简介、安装配置及示例应用构建并推送制品到Nexus中会话管理:session sticky、session cluster、session serverTomcat 会话复制集群的配置解析及部署验证Tomcat会话保持与会话服务器(msm)配置示例详解JVM运行时内存区域、堆内存分段机制、常用的垃圾收集算法及垃圾收集器新生代及老代年的垃圾收集器搭配机制JVM常用的优化思路及配置参数和常用的监控工具用法介绍Tomcat自身常用的优化要点
阶段四:运维工具篇
一、Linux防火墙和iptables
防火墙功能及特性概述iptables和netfilter特性及工作逻辑介绍iptables四表(filter、mangle、nat、raw)五链(prerouting、input、forward、output 、postrouting)详解iptables命令链管理、规则管理、规则查看基本用法iptables基本匹配、扩展匹配、隐式扩展、显式扩展iptables扩展模块应用:多端口匹配、连接追踪、报文状态匹配等企业级应用iptables规则保存、重载、生效机制及安全体系工具iptables之forward转发iptables之SNAT、DNAT及端口地址转换新一代防火墙技术nft简介
二、Ansible和应用编排
自动化运维技术框架系统安装、程序发布、应用布局宏观介绍Ansible工具特性及工作机制详解Ansible多方式安装及简单应用Ansible常用模块command、shell、copy、cron、fetch、file、service、user、setup等模块详解
三、Ansible应用进阶
YAML语言介绍与语法Ansible Playbook(剧本)核心元素Hosts、Tasks、Variables、Templaters、Handlers、Roles详解Ansible Playbooks基础组件实际应用实例讲解Ansible 创建角色roles实现代码重用详解Role内各目录中可用的文件定义及角色调用实现案例:编写Role自动编排部署Nginx、Tomcat、MySOL和JPress
四、OpenVPN和Jumpserver
VPN基础及常见的实现方式OpenVPN基础及远程服务器管理中的应用OpenVPN服务构建OpenVPN客户端JumpServer 关键功能与特性JumpServer安装、配置以及资源管理、用户管理、账号管理和权限管理等快速入门
阶段五:关系型数据库
一、MySQL基础
数据库概念和类型:SQL和NoSOL关系型数据库管理系统介绍关系型数据库的关系运算和设计范式关系型数据库表、索引、视图及三层模型讲解MySQL安装与安全配置MySQL的客户端程序mysql、mysqladmin工具介绍MySQL数据类型:字符型、数值型、日期时间型简介MySQL服务端和客户端命令使用SQL语句之DDL、DML语句用法详解表的创建、修改、删除及表的状态信息查看视图函数存储过程和事件管理用户和权限管理MySQL的图形化的远程管理工具Navicat和SQLyog
二、MySQL性能优化和日志管理
MySQL速辑架构MySQL存储引擎之InnoDB、MyISAM引整详解MySQL服务器全局变量会话变量及状态变量详解常见的索引:聚集索引、主键索引、稀疏索引、B树索引的介绍索引的管理:查看、创建、及删除MySQL基于读/写锁实现并发访问控制MySQL事务之ACID测试、及事务的隔离级别READ UNCOMMITTED、READ COMMITTED、REPEATABLE READ、SERIALIZABLE详解事务日志相关命令及变量详解慢查询日志相关变量及优化查询错误日志分析
三、MySQL备份还原和主从复制
二进制日志相关的变量设定及查看mysqlbinlog命令的用法常见的数据库备份类型:完全备份、增量备份、差异备份热备份、温备份、冷备份物理备份、逻辑备份常用的备份策略及方案设计:完全增量常用的备份工具mysqldump、cp、tar等复制归档工具备份的数据快速恢复及注意事项冷备份温备份及热备份实现逻辑备份工具:mysqldump使用实例讲解
四、MySQL读写分离和高可用
MySQL常见的扩展方式Scale Up、Scale OutMySQL复制特点及复制架构详解MySQL主从复制中主节点、从节点配置实例详解MySQL复制架构中的数据一致性及事务安全性保持MySQL主主复制配置原理及案例演示MySQL半同步复制原理及案例演示MySQL复制过滤器配置原理及实现指定数据库(表)的快速备份案例演示MySQL复制过程中的日志清理与监控备令详解MySQL主从复制中数据不一致的解决方案MySQL复制中数据损坏或丢失、混合使用存储引擎、serverid的不唯一、及复制延迟中出现的问题及解决方案MySQL数据库的切分:重直切分:分库、水平切分:分表MySQL读写分离及常见的解决方案MYCATMySQL集群Cluster实现PXC
实战项目(1):Java单体应用JPress
实战案例–基于Tomcat的]ava应用
JPress/Wordpress
目标
各组件尽量以面向生产环境的方式部署NFS、Nginx、Tomcat、MySQL和MyCATAnsible进行部署和新版本发布用上JumpServer模拟进行远程管理接入Shell脚本和Xtrabackup/mysqldump:MySQL数据库备份和远程存储
验证
Ansible进行版本发布过程中服务不会中断MYCAT和MySQL实现的读写分离架构中数据能够正常读写Memcached用作Session server确保会话保持的功能模拟数据丢失确保数据库的备份文件能够用于进行恢复
阶段六:接入层及高可用
一、 LVS
Linux集群及系统扩展的方式概述Linux集群类型及调度方法详解lvs工作原理及专用术语介绍lvs常见的四种集群lvs-nat、Ivs-dr、Ivs-tun、lvs-fullnat优点及使用场景LVS 调度方案RR、WRR、SH、DH、LC、WLC、SED、NQ、LBLC、LBLCR详解及应用场景负裁均衡集群中会话保持方式:源地址hash、会话集群、会话服务器ipvsadm集群服务管理工具使用LV5-NAT的配置以及负裁应用LV5-DR的配置以及负载应用LVS-FW方式实现LVS的affinity应用LV5 FWM 持久性连接应用环境理论及实现
二、Keepalived
HA Cluster高可用相关原理介绍vrrp协议与专业术语介绍keepalived相关工作原理介绍keepalived软件安装与配置keepalived主备、双主互备、多主多备vrrp实例配置及实现实战案例:高可用ipvs调度器及对RealServer进行健康状态检测自定义监控脚本vrrp script及其应用示例keepalived基于vrrp script高可用nginx及haproxy调度器
阶段七:监控系统
一、Zabbix
监控系统概述zabbix组件介绍及zabbix监控基础、工作机制及监控实现方式zabbix server、agent安装、配置详解及监控数据采集流程通过脚本一键自动批量安装zabbix agent数据采集工具引用标识(key)与监控项配置触发器触发器表达式与触发器事件Action的工作机制及Operations应用:远程命令、告警及告警升级高级配置:宏、自定义key及监控模板SNMP协议基础及基于SNMP协议的监控配置聚合图形、dashboard展示部署主动模式代理主动模式agent客户端监控TCP连接数(主动模板和被动模板)监控redis及自定义模板监控mysql脚本及自定义模板zabbix 故障自治愈功能简介与实现案例URL和自定义脚本及模板监控端口和进程grafana结合zabbix显示绚丽图形用户和组管理自定义系统基础监控模板实现及邮件通知机制,微信报警、短信报警等zabbix proxy分布式监控及主被动模式详解及监控案例网络发现及自动注册zabbix API使用基础及通过API快速添加监控服务器案例zabbix性能优化zabbix的高可用
实战项目(2):增强Java单体应用站点可靠性
实战案例 --完善基于Tomcat的]ava系统环境
jPress/Wordpress
目标
各组件尽量以面向生产环境的方式部署NFS、Nginx、Tomcat、MySQL和MyCATAnsible进行部署和新版本发布用上JumpServer模拟进行远程管理接入Shell脚本和Xtrabackup/mysqldump:MySQL数据库备份和远程存储Nginx模拟做业务网关耦合请求至业务请求路径中LVS做接入层流量网关(可选)基于Keepalived高可用LVS;若该组件可选则需要使用keepalived高可用nginx使用Zabbix监控以上系统中的每个组件规划好存储空间并制订合理的告警策略 LVS集群 Nginx集群 Tomcat和JVM Memcached NFS及同步状态 MySQL主从复制集群 JumpServer Zabbix Server监控系统自身
验证
Ansible进行版本发布过程中服务不会中断MyCAT和MySQL实现的读写分离架构中数据能够正常读写Memcached用作Session Server确保会话保持的功能;模拟数据丢失确保数据库的备份文件能够用于进行恢复Nginx某一实例故障不会大面积影响业务访问;LVS某一实例故障不会大面积影响业务访问;Zabbix能够及时发现问题并进行及时告警
高级架构课程
课程框架
阶段八:虚拟化和容器
一、KVM虚拟化和OpenStack简介
虚拟化技术基础虚拟化技术分三类:主机虚拟化(模拟、半虚拟、完全虚拟化)、容器、程序级虚拟化等主机级虚拟化中cpu、memory、I/O虚拟化方式及网络虚拟化机制KVM虚拟化基础KVM虚拟化技术实现原理KVM模块载入后的模式:内核模式、用户模式、来宾式、及kvm hypervisor详解kvm的特性与局限性详解KVM的工具栈:qemu、libvirt的使用构建KVM环境:KVM的安装、配置及应用管理KVM虚拟机(virsh,virt-manager及qemu-kvm)kvm常用的虚拟网络模型详解:桥接模型、NAT模型、路由模型、离模型概念及实现磁盘镜像文件管理制作虚拟机模板镜像并批量创建虚拟机基于kvm运行windows server服务器系统概述KVM虚拟化的其它管理工具:0penStack、oVirt、Proxmox等
二、Docker
Linux容器技术及其关键组件CGroups及Namespaces低级容器运行时与高级容器运行时、OCI现代应用容器技术Docker的特性及分层组件Docker架构及工作模型Docker对比虚拟机优缺点以及其它常见的容器引擎Docker存储引擎对比及选择Docker CE安装与初始化Container和Image管理相关的常用操作Dockerfile制作、Docker镜像分层制作精讲及案例镜像优化与镜像漏洞扫描Docker的存储管理机制、数据卷和数据卷容器Docker网络模型与跨主机的容器间通信Docker资源限制介绍、CPU与内存资源限制实现
三、Containerd和Harbor
docker-compose命令详解及单机容器编排企业案例Docker Registry 介绍Harbor镜像仓库单机Harbor镜像仓高可用实现、镜像扫描、镜像加速Containerd基础、部署与快速入门
阶段九:NOSQL存储系统
一、Redis基础
存储系统上的ACID、BASE及CAP理论NOSQL的常见技术流派及相关的常用实现方案Redis特性及功能数据管理接口:各种数据类型的基础管理操作Redis配置详解RDB及AOF持久化机制对比介绍及其配置Redis数据类型介绍
二、Redis进阶
Redis消息服务的实现主从复制工作机制、配置方式以及主从复制集群的部署Redis Sentinel功能、部署方式及部署案例Redis Cluster集群基础概念及工作机制Redis Cluster部署案例及集群服务器上下线Redis数据跨服务器迁移Redis其他横向扩展实现方式
三、MongoDB
MongoDB数据库关键特性MongoDB数据模型:document、collection和database等MongoDB安装并连接到服务端MongoDB的CRUD操作:datadabase和document的基础管理MongoDB复制集工作原理和实战MongODB分片集群工作原理和实战MongoDB备份和还原
阶段十:CICD和DevOps
一、Git和GitLab
CI/CD、敏捷开发、DevOps概述持续集成与持续部署工具链常见的代码部署方式介绍如蓝绿部署、灰度发布、金丝雀部署、滚动部署、A/B测试分布式版本控制工具的工作模型、git基础概念及基本应用分支管理、常见的分支模型及各自的协作流程远程仓库与GitLabGitlab简介、安装、账户与权限管理、项目管理Gitlab分支管理、分支合并、代码clone、数据备份、数据恢复
二、Jenkins自由风格流水线
Jenkins简介、安装、插件管理作业类型及各自的特性Jenkins凭据管理常用类型的触发器以及基于GitLab的自动触发机制参数化构建结合Ansible实现自动化部署构建通知
###三、Jenkins Pipeline
jenkins分布式架构概念与实现声明式Pipeline语法结构声明式Pipline快速入门参数化Pipeline及高级应用基于spring-boot-helloworld的声明式Pipeline完整示例jenkins通知机制在声明式Pipeline中使用post{}Jenkins视图简介与应用场景代码质量测试工具sonarqube简介Sonarqube部署、插件管理、实现代码手动扫描Jenkins集合sonarqube实现代码自动扫描
实战项目(3)
实战案例–自动化构建SpringBoot和Vue应用项目案例
在线小说网:novel和novel-front-web
novel:前后端分离的在线小说项目此为后端基于Spring Boot3开发novel-front-web:novel的前端基于Vue 3开发
依赖的后端服务包括MySQL8.0、Redis 7.0、ElasticSeach 8.x(可选)RabbitMQ 3.x(可选)和XXL-Job(可选)
三个可选项默认均为关闭状态该示例中此三者也将基于默认配置不予部署和使用
目标
简述SpringBoot MVC及相关的框架体系容器化运行novel和novel-front-web相关的项目部署高可用Harbor系统以及分布式的Jenkins系统基于Jenkins自动化构建novel并推送镜像至Harbor中持续交付:自动化更新线上实例并运行为容器实例(ansible或docker)制订用于novel和novel-front-web更新的灰度策略并实施相关的策略Zabbix监控整个系统环境
阶段十一:消息队列
一、Zookeeper和Kafka
ZooKeeper架构组件和典型应用场景(发布/订、负载均衡、分布式协调/通知、…)Zookeeper数据模型、选举机制和节点类型Zookeeper单机部署、配置及常见命令的用法Zookeeper集群部署、扩缩容及运维管理发布与消息订阅系统简介消息、消息队列和Broker的基础概念Kafka特性、设计理念和系统组件生产者、消费者及消息收发的工作逻辑Kafka部署模式、单实例部署和基础配置
二、Kafka和其它消息队列
Kafka主颖配置、复制系数和分区机制Kafka的再均衡与分区分配策略Kafka的日志存储与事务机制Spark和Kafka Streaming简介RabbitMQ快速入门:系统组件、工作机制、集群部署和基础管理操作(选讲)RocketMQ快速入门:系统组件、工作机制、主从复制集群和基础管理操作项目案例(3)扩展:为实战项目(3)升级Redis主从架构并添加RabbitMO集群
阶段十二:搜索引擎和日志中心
一、ElasticSearch及集群管理和优化
搜索引擎及功能组件概述索引组件Lucene及搜索组件ElasticSearch和Solr简介ElasticStack及小、中及大型规模下的日志采集、存储、展示及搜索平台的架构体系Lucene的多样化查询:域、范围、字符串、模糊查询简介ES集群组件及工作机制ES集群部署及API接口基础使用ElasticSeache插件管理部署中文分词插件analysis-ik和analysis-pinyinES的常用ETL工具栈及LoqStash和Beats组件LogStash Aqent部署及基础应用LogStash常用的input、filter和output插件体系与常用插件如grok和geoip等
二、日志中心:filebeat、LogStash和Kibana
LogStash Server部署及运行Kibana基础概念、部署、认证及其展示接口的配置Logstash多类型服务访问日志及系统日志收集Java日志合并、Nginx访问日志及TCP日志Syslog日志收集以及基于RedisList收集Nginx访问日志Kibana Dashboard使用及自定义图形Logstash和Filebeat结合Kafka实现企业级日志收集案例日志写入数据库及地图显示客户端城市Kibana日志分析,Nginx日志(pv、ip、地理位置等)(选讲)项目案例(3)扩展:为实战项目(3)添加ElasticSearch搜索引擎和ELK日志中心
阶段十三:微服务和对象存储
一、Springcloud微服务框架和Nacos
SpringBoot MVC和SpringCloud微服务框架相关的概念国内主流的微服务治理生态全景Nacos系统组件及工作机制Nacos 部署模式、单机部署和控制台功能介绍Nacos 的关键配置参数和鉴权体系Nacos 集群模式部署和多集群模式介绍基于 Docker部署和运行Nacos
二、API网关、SpringCloud Gateway和APISIX
API管理(API Management)与API网关(API Gateway)介绍API网关的类型:流量网关与业务网关各自的功能主流的API网关项目及功能对比(例如SpringCloud Gateway、Zuul、Kong、APISIX等)SpringCloud Gateway特性、核心概念与工作流程SpringCloud Gateway断言(Predicate)、动态路由配置和过滤器APISIX架构组件和插件体系介绍APISIX Dashboard部署、运行APISIX和APISIX DashboardAPISIX的关键术语(Route、Service、Consumer、Upstream和Plugin等)及工作机制APISIX的基础管理操作:发布API和保护APIAPISIX高可用部署方案
三、Sentinel(流量治理)和Seata(分布式事务)
流量治理的基本概念:流量控制、熔断降级和过载保护等Sentinel的功能和设计理念:流量控制、熔断降级和过载保护在Sentinel中的实现机制Sentinel的组成(核心库和控制台)以及部署和启动控制台Sentinel规则类型及基于控制台规则管理接口介绍流量控制规则、流量控制机制、集群流量控制和网关流量控制熔断降级规则和熔断策略过载保护规则及工作原理热点参数规则和热点参数限流策略以及访问控制规则和来源访问控制(黑白名单)控制台鉴权机制以及关键的配置参数说明分布式事务与Seata介绍(选讲)Seata事务模式:AT、TCC、SAGA和XA模式
四、对象存储、Minio和华为云OBS(或阿里云OSS)
对象存储的基础概念、特性和适用场景对象存储的关键术语:对象(0bject)、存储桶(Bucket)、地域(Region)和端点(Endpoint)公用云的对象存储(阿里云OSS、华为云OBS、Amazon S3和Google Cloud Storage等)简介开源对象存储方案(Minio、ceph RGW、Zenko和Triton等)简介Minio架构组件、功能特性和数据组织格式Minio核心概念和部署架构:分布式架构和复制架构Minio 基于纠删码和部署架构的数据冗余Minio 分布式集群部署和配置Minio 控制台:集群配置、对象管理和数据安全Minio 客户端程序mc及常用的管理命令(选讲)Minio SDK及使用示例
##实战案例(4)
实战案例 --部署微服务化应用
项目案例(二选一)
mall-microservicenovel-cloud
目标
部署基础服务:mysql、redis、nacos、elasticsearch、mongodb和minio等 面向生产环境部署:提供主从复制或者集群服务 容器化部署或Ansible编排部署 关键数据备份策略和灾难恢复策略部署mall-microservice/novel-cloud的各组件 容器化部署或Ansible编排部署高可用Nginx反代接入或者使用APISIX接入配置监控整个系统并制订合理的告警策略微服务业务前后端应用经Jenkins自动构建为Image后推送至Harbor收集系统日志至ElasticStack中
阶段十四:Kubernetes快速入门
一、基础概念、架构组件、工作机制及集群部署
容器编排与Kubernetes编排系统概述Kubernetes系统组件与核心术语Kubernetes网络模型简介各类部署工具对比介绍以及kubeadm部署Kubernetes集群的要点及步骤使用ansible和ansible playbook快速部署基于containerd的Kubernetes集群Kubernetes应用编排快速入门:Pod、Service和Deployment资源API和kubectl命令行客户端详解使用Namespace隔离不同的租户、项目或环境
二、Pod、存储卷和配置
Kubernetes集群组件、工作机制回顾与增强Pod的设计理念、配置格式和使用案例定制容器运行方式:命令、参数和环境变量以MySQL和Wordpress为例迁移尝试迁移传统应用至Kubernetes平台配置Pod:探针、资源需求、资源限制、安全上下文及使用案例基于容器的设计模式:Sidecar容器、Ambassador容器、Adapter容器和Init容器以及Init容器使用案例Pod状态及常见的异常问题及其排查问题的思路存储卷类型、插件、配置规范和使用案例
三、持久卷、存储类、及应用配置
持久卷(PV)和持久卷声明(PVC)的功能、工作逻辑、配置规范及使用案例存储类的功能、配置规范及使用案例Kubernetes存储架构、CSI以及基于CSI的NFS-CSI-DriverKubernetes的CAS存储0penEBS部署以MSQL和Wordpress为例为迁移到Kubernetes集群上的应用提供持久化存储的ConfigMap、Secret功能、配置规范以MySQL和Wordpress为例为迁移到Kubernetes集群上的应用提供Kubernetes原生方式的应用配置功能DownwardAP1、Proiectd卷功能、配置规范和使用案例Service的功用、模式及工作机制快速入门标签、标签选择器和注解
四、Service和应用编排
Service类型、资源规范及各类型使用案例Service资源名称、名称解析和CoreDNS配置Pod上的名称解析策略CoreDNS插件体系、查询路由、配置格式、查询重写和常用场景下的配置案例Kubernetes声明式API与控制器模式的基本工作逻辑无状态应用编排控制器Deployment:应用部署、更新、扩缩容、金丝雀部署、卸载及使用案例有状态应用编排控制器StatefulSet:应用部署、更新、扩缩容、分区部署、卸载及使用案例(MySQL主从复制集群)
五、应用编排与Ingress应用发布
有状态应用编排Operator工作机制及案例(ECK Operator)系统级应用编排控制器DaemonSet:应用部署、更新、扩缩容、分区部署、卸载及使用案例(Prometheus Node Exporter)作业类编排控制器Job、Cronob配置规范及使用案例Ingress资源的功用、类型及同Ingress Controller的关系Ingress Controller的常见实现、部署模式和IngressNginx部署示例Ingress资源类型、配置规范和示例以及通过Ingress发布应用的实际案例基于Ingress的灰度发布案例:canary-by-header、canary-by-cookie和canary-by-weightHelm的核心概念、工作逻辑、以及Artifact Hub介绍;Helm案例:部署Wordpress和Harbor;
阶段十五:云原生监控系统
一、Prometheus监控系统入门
监控系统和监控体系回顾以及四个黄金信号、USE方法和RED方法等监控理论;Prometheus生态组件与工作机制、数据模型和数据采集快速入门;部署、启动Prometheus Server和Node Exporter实战案例:监控Prometheus Server、Node、MySQL、Nginx、ElasticSearch和Tomcat以及使用Black-box Exporter进行黑盒监控:Prometheus数据模型、向量选择器和指标类型;PromOL聚合函数、聚合表达式和向量匹配;Prometheus服务发现工作机制、常见的发现服务及配置案例:基于文件、Consul和Kubernetes AP Server的服务发现;
二、Prometheus监控系统进阶
Promehteus重新打标(relabel_configs和metric_relabel_configs)机制及使用案例;使用记录规则持久保存查询结果以及基于Grafana展示查询结果;Prometheus告警逻辑、AlertManager告警路由框架及工作机制;告警规则格式、告警模板字串及相关的配置案例部署、启动AlertManager配置邮件告警、钉钉告警等多种告警机制;告警路由、告警抑制配置案例;Prometheus存储引擎简介以及配置Prometheus使用远端存储的方法Prometheus的各类高可用方案介绍;(选讲)VictoriaMetrics系统架构、工作机制以及部署VictoricMetrics作为Prometheus的远端存储;
阶段十六:Kubernetes实战进阶
一、认证、鉴权及网络插件基础
Kubernetes APl Server的访问控制体系及工作机制:认证、鉴权与准入控制身份认证策略介绍、静态令牌认证、X509数字证书认证及使用案例kubeconfig配置文件格式、管理命令及使用案例ServiceAccount功能、工作机制、配置规范及使用案例鉴权策略介绍和RBAC鉴权工作原理RBAC鉴权体系中Role/ClusterRole/RoleBinding/ClusterRoleBinding资源规范及案例CNI技术体系及Pod网络基础
二、Kubernetes网络
Kubernetes的网络模型及组件间的通信链路CNI插件体系、NetPlugin和IPAM插件类各自的功能和常见的实现、以及容器网络接口的主流实现机制Pod网络解决方案中的Overlay网络和Underlay网络模型以及各自常见的实现机制主流网络插件的功能、特性、性能以及选择插件的评判原则Flannel网络的vxlan、vxlan directrouting、host-gw的工作机制、配置方法和模型验证ProjectCalico网络工作机制、架构组件及支持的网络模型部署ProjectCalico配置其使用BGP和IPIP网络并验证其通信模型
三、Kubernetes集群运维
Kubernetes调度相关的概念、经典调度器的调度流程、预选策略、优选策略和新式调度框架Kubernetes的亲调度机制:节点亲和、Pod亲和、Pod反亲和及Pod拓扑分散约束Kubernetes基于污点和容忍度的调度策略Kubernetes节点状态和节点维护Kubernetes高可用架构模型以及部署高可用的Kubernetes集群示例集群版本升级注意事项和实践准则以及升级高可用的Kubernetes集群的案例Velero程序组件及备份、恢复的工作机制Velero备份恢复Kubernetes资源及数据卷的案例
项目案例(二选一)
mall-microservicenovel-cloud
目标
将实战案例4的环境全线迁上Kubernetes平台监控系统切换为Prometheus接入层切换为基于Ingress Controller的Ingress资源
阶段十七:SRE工程理念
一、SRE工程模型
SRE的起源、岗位职责、工作原则和适用范围SRE的核心理念、方法论和稳定性的衡量机制服务质量SLI、SLO和SLA的制订与落地原则应用事件处理:紧急事件响应、紧急事故管理、故障排查、事后总结和0n-Call机制建设稳定性建设的方法:基于主备的冗余、基于负载均衡的冗余、基于平台自愈机制的设计基于业务架构的设计灾备建设简介:同机房灾备、同城双活灾备、异地数据灾备、两地三中心和分布式多活
实战进阶
阶段十九:Kubernetes实战进阶
一、基于kubeasz部署高可用Kubernetes集群
Kubernetes集群组件架构及服务器硬件选型准备本地部署环境并基于kubeasz初始化Kubernetes集群部署过程kubeasz部署Kubernetes集群的配置文件详细介绍基于ansible-playbook定制要部署的Kubernetes集群环境Kubernetes集群更新注意事项及更新过程演示部署常用的附件例如Kuboard等并介绍kubesphere系统etcd存储系统介绍及集群管理Kubernetes原生名称解析服务CoreDNS功能、特性及常用配置
二、Kubernetes实战话题
Calico网络插件的eBPF模式及应用以及在Kubernetes部署使用eBPF模式的网络插件Pod的特性伸缩机制、VPA/HPA的工作机制以及基于Promteheus的应用自动伸缩案例公有云SLB结合Ingress实现客户端IP透传eBPF介绍、Cilium网络插件系统组件、工作机制及部署Kubernetes集群使用Cilium网络插件Cilium网络插件的虚拟网络接口、Pod网络模式及通信验证以及Cilium内置的可观测组件HubbleCilium内置的Ingress Controller与应用以及Cilium的高级特性介绍
三、Kubernetes上部署微服务电子商城项目
云原生的概念、服务网格、微服务治理体系介绍开源微服务电子商城mall-microservice项目架构介绍部署mall-microservice依赖的各后端服务:MySQL、Nacos、EFK、Redis、MongoDB、RabbitMQ、Minio并它们纳入Promtheus的监控体系部署Skywalking及相关的UI部署商城后台组件:mall-gateway、mall-portal、mall-search等部署商城的商家管理端mall-admin-web并测试进行测试访问在Prometheus/Grafana中验证指标采集、在EFK中验证日志采集和检索在Skywalking中验证请求链路跟踪
阶段二十:分布式消息系统Kafka
一、Kafka及应用案例
单体应用与微服务简介、进化历史、服务注册机发现机制、实现微服务的几个要素消息分发系统发展历史及对比、消息分发机制Kafka简介及优缺点、Kafka逻辑架构详解Kafka配置详解、基于Zookeeper和Kraft实现Kafka集群部署简介;Kafka命令行及图形客户端使用、验证消息的写入Kafka并从Kafka集群消费Kafka集群成员间关系、复制及物理存储机制Kafka的可靠性保证、复制以及broker配置管理Kafka-Topic操作、消费者群组、动态配置变更及分区管理在Kubernetes集群上基于Strimzi Operator部署面向生产环境的Kafka集群
阶段二十一:列式数据库ClickHouse
一、CilckHouse入门与实践
关系型数据库与非关系型数据库简介、行式数据库与列式数据库简介、ClickHouse使用场景特性及功能介绍ClickHouse服务器选型、安装配置及优化配置、数据导入Clickhouse安装、ClickHouse查询语句简介及常用函数的使用Clickhouse-Client及DBeaver等客户端工具使用、用户管理ClickHouse数据格式简介,JSON、TabSeparated、TSKV、CSV、Parquet、ORC等数据格式ClickHouse存储引擎简介MergeTree系列引擎简介及Log系列存储引擎简介Clickhouse用户profile、quota配额及多用户管理
二、ClickHouse生态整合
ClickHouse与MySQL及Kafka等整合使用;ClickHouse分布式集群部署简介及集群部署ClickHouse查询语句简介及常用函数的使用;Prometheus基于ClickHouse实现数据的远程读写案例;基于Prometheus监控ClickHouse并通过Grafana实现监控数据可视化;将ClickHouse部署并运行于Kubernetes之上使用基于Ceph rbd的PVC存储数据并由Prometheus自动完成ClickHouse的监控和告警:
师姐的号可撩Evelyn-lin717
结语
无人扶我青云志我自踏雪至山巅。 若是命中无此运亦可孤身登昆仑。 文章转载自： http://www.morning.qcfcz.cn.gov.cn.qcfcz.cn http://www.morning.crfyr.cn.gov.cn.crfyr.cn http://www.morning.rbbgh.cn.gov.cn.rbbgh.cn http://www.morning.jtwck.cn.gov.cn.jtwck.cn http://www.morning.wjzzh.cn.gov.cn.wjzzh.cn http://www.morning.ytrbq.cn.gov.cn.ytrbq.cn http://www.morning.qjsxf.cn.gov.cn.qjsxf.cn http://www.morning.fkmyq.cn.gov.cn.fkmyq.cn http://www.morning.hysqx.cn.gov.cn.hysqx.cn http://www.morning.tplht.cn.gov.cn.tplht.cn http://www.morning.rlbc.cn.gov.cn.rlbc.cn http://www.morning.lbcbq.cn.gov.cn.lbcbq.cn http://www.morning.hfyll.cn.gov.cn.hfyll.cn http://www.morning.shxmr.cn.gov.cn.shxmr.cn http://www.morning.dhnqt.cn.gov.cn.dhnqt.cn http://www.morning.btns.cn.gov.cn.btns.cn http://www.morning.xysdy.cn.gov.cn.xysdy.cn http://www.morning.jjxxm.cn.gov.cn.jjxxm.cn http://www.morning.bwrbm.cn.gov.cn.bwrbm.cn http://www.morning.jcrfm.cn.gov.cn.jcrfm.cn http://www.morning.ksgjy.cn.gov.cn.ksgjy.cn http://www.morning.lqffg.cn.gov.cn.lqffg.cn http://www.morning.nrwr.cn.gov.cn.nrwr.cn http://www.morning.bxrqf.cn.gov.cn.bxrqf.cn http://www.morning.dygsz.cn.gov.cn.dygsz.cn http://www.morning.bhbxd.cn.gov.cn.bhbxd.cn http://www.morning.zthln.cn.gov.cn.zthln.cn http://www.morning.txltb.cn.gov.cn.txltb.cn http://www.morning.nnjq.cn.gov.cn.nnjq.cn http://www.morning.djxnn.cn.gov.cn.djxnn.cn http://www.morning.mtrfz.cn.gov.cn.mtrfz.cn http://www.morning.gjlml.cn.gov.cn.gjlml.cn http://www.morning.lmhh.cn.gov.cn.lmhh.cn http://www.morning.kgltb.cn.gov.cn.kgltb.cn http://www.morning.hmbxd.cn.gov.cn.hmbxd.cn http://www.morning.krgjc.cn.gov.cn.krgjc.cn http://www.morning.hwzzq.cn.gov.cn.hwzzq.cn http://www.morning.ykswq.cn.gov.cn.ykswq.cn http://www.morning.zbmcz.cn.gov.cn.zbmcz.cn http://www.morning.tgtsg.cn.gov.cn.tgtsg.cn http://www.morning.nsncq.cn.gov.cn.nsncq.cn http://www.morning.rybr.cn.gov.cn.rybr.cn http://www.morning.prgdy.cn.gov.cn.prgdy.cn http://www.morning.sbrjj.cn.gov.cn.sbrjj.cn http://www.morning.pngph.cn.gov.cn.pngph.cn http://www.morning.hhpbj.cn.gov.cn.hhpbj.cn http://www.morning.wyctq.cn.gov.cn.wyctq.cn http://www.morning.dnbhd.cn.gov.cn.dnbhd.cn http://www.morning.gwmny.cn.gov.cn.gwmny.cn http://www.morning.cthrb.cn.gov.cn.cthrb.cn http://www.morning.bhmnp.cn.gov.cn.bhmnp.cn http://www.morning.zcwwb.cn.gov.cn.zcwwb.cn http://www.morning.wgrl.cn.gov.cn.wgrl.cn http://www.morning.yesidu.com.gov.cn.yesidu.com http://www.morning.mtgkq.cn.gov.cn.mtgkq.cn http://www.morning.lkcqz.cn.gov.cn.lkcqz.cn http://www.morning.snccl.cn.gov.cn.snccl.cn http://www.morning.kmwbq.cn.gov.cn.kmwbq.cn http://www.morning.wynnb.cn.gov.cn.wynnb.cn http://www.morning.ssqrd.cn.gov.cn.ssqrd.cn http://www.morning.dkbgg.cn.gov.cn.dkbgg.cn http://www.morning.wtwhj.cn.gov.cn.wtwhj.cn http://www.morning.zmyzt.cn.gov.cn.zmyzt.cn http://www.morning.pycpt.cn.gov.cn.pycpt.cn http://www.morning.qyhcg.cn.gov.cn.qyhcg.cn http://www.morning.lpppg.cn.gov.cn.lpppg.cn http://www.morning.tmfhx.cn.gov.cn.tmfhx.cn http://www.morning.xnwjt.cn.gov.cn.xnwjt.cn http://www.morning.wqrdx.cn.gov.cn.wqrdx.cn http://www.morning.stph.cn.gov.cn.stph.cn http://www.morning.duckgpt.cn.gov.cn.duckgpt.cn http://www.morning.pigcamp.com.gov.cn.pigcamp.com http://www.morning.msgcj.cn.gov.cn.msgcj.cn http://www.morning.xprq.cn.gov.cn.xprq.cn http://www.morning.hjsrl.cn.gov.cn.hjsrl.cn http://www.morning.hnhsym.cn.gov.cn.hnhsym.cn http://www.morning.srgwr.cn.gov.cn.srgwr.cn http://www.morning.sgfgz.cn.gov.cn.sgfgz.cn http://www.morning.bfrff.cn.gov.cn.bfrff.cn http://www.morning.rwdbz.cn.gov.cn.rwdbz.cn
