标签：
课程简介:
随着互联网的发展，高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练。
通过该课程的学习，普通的技术人员就可以快速搭建起千万级的高并发大数据网站平台。
亮点一：真实环境还原，课程采用了VM环境重现大网站集群服务器环境，真实环境还原再现。
亮点二：基础实用，细节决定成败，课程内容在演练过程中重点介绍各种细节，保证初级人员快速入门及高级进阶。
亮点三：讲师丰富的海量平台运作经验
讲师tom5多年研发平台,某大型视频网站CTO,众多大型网站及移动应用平台架构经验，并拥有多年的培训经验经历。讲课内容完全切合架构设计及实施人员需要。
第一章 概述（1课时）简要介绍该系列课程的内容，
本章内容如下：
主流高并发大数据应对技术介绍
CDN镜像技术介绍
静态化技术介绍
库表水平及垂直拆分技术介绍
虚拟化云计算体系介绍
高并发系统架构规划
高并发大型网站高可靠架构图
课程安排简介
高并发大型网站高可靠架构网络IP规划
搭建实战环境的准备工作
SFTP客户端Filezilla使用简介
SSH客户端SecureCRT使用简介
Centos关闭图形界面启动及开启sshd实战
虚拟机clone后网卡重新初始化演练
VMware使用技巧演练
第二章 LVS实现负载均衡软交换实战（5课时）
本章演练的是负载均衡技术的核心，主要包括LVS的类型特点适用场景介绍，使用Piranha安装快速搭建LVS负载均衡集群及配置，LVS负载均衡DR模式深入安装调试，LVS调度策略及负载均衡原理详细演练，LVS深入实践NAT模式集群调试。
详细内容如下：
LVS服务器配置准备
关闭centos网卡自动管理实践
上网网卡手动配置
yum镜像加速
yum安装Piranha
piranha-gui启动
防火墙配置开通3306口
pulse启动
piranha安装效果验证
nginx服务器配置安装
主机名配置
添加nginx的yum安装源
yum安装nginx
nginx安装效果验证
防火墙配置打开80口
防火墙配置虚IP包转发规则支持LVS的DR模式
Piranha配置DR模式详解演练
global settings公网IP配置Primary server public ip
redundancy配置lvs服务器的冗余，
virtual servers配置Virtual IP Address和real server
主从配置scp复制
LVS安装效果验证
ipvsadm演练
热备切换
LVS自服务配置启动
Piranha相关轮询配置参数讲解及效果演示
Round robin：轮转调度 轮询 （最简单的轮询）
Weighted least-connections：加权最少连接（考虑负载、服务器性能因素）
Weighted round robin：加权最少连接（考虑服务器性能因素）
Least-connection：最少连接（考虑负载因素） 等
/etc/sysconfig/ha/lvs.cf 文件配置内容详细讲解
LVS调度策略深入及效果演示
服务器集群负载均衡简化的整体结构讲解
基于DNS的请求调度
基于前端调度器的请求调度
四层交换-通过DR实现报文转发
四层交换-通过IP隧道实现报文转发
四层交换-通过NAT实现报文转发
四层交换-三种报文转发技术比较
应用层交换-协议内部支持Http重定向
应用层交换-其他技术
基于后端服务器的请求调度
LVS三种模式比较
LVS典型NAT模式网络拓扑图
Clone服务器配置安装nginx2及lvs2
Piranha配置NET模式
NAT模式效果演示
centos配置防火墙关闭，开启转发
centos主备LVS复制配置文件
验证LVSNAT安装效果
第三章 Nginx高级配置实战（3课时）
本章演练的是静态内容与动态内容服务器分离，主要包括Nginx基础安装配置，Nginx反向代理实战进阶，Nginx动静分离URL转发实战，
详细内容如下：
Hadoop，Tomcat的安装环境采用debian的tomcat最小安装版虚拟机下载并初始化
tomcat服务端口修改
主机名修改
增加首页jsp服务器识别标志
tomcat安装效果测试
nginx安装默认目录讲解
nginx配置文件详细讲解
nginx配置server先后顺序演练
hosts文件修改本地dns配置模拟域名访问
Nginx调度策略演练：nginx的upstream目前支持4种方式的分配：轮询（默认）、weight、ip_hash、fair、url_hash
Nginx调度策略-小技巧演练等：backup，down等演练
proxy_pass后的url加不加/的区别演练
Nginx对URL进行匹配语法规则讲解
Nginx对URL进行匹配演练实践
Nginx对URL进行匹配-常用规则讲解
Nginx一些可用的全局变量详解
Nginx代理后，服务端收到参数通过tomcat上编写info.jsp详细查看
Nginx对URL重写语法详解：标记，判断文件或目录
正则表达式语法讲解
Nginx对URL重写例子技巧演练
1.简单例子： rewrite "/zixun/([0-9]+)(/*).html$" /zixun/$1/ last;
2.多目录转成参数
3.目录对换
4.设定nginx在用户使用ie的使用重定向到/nginx-ie目录下
5.目录自动加“/”
6.禁止htaccess
7.禁止多个目录
8.文件反盗链并设置过期时间
9.域名跳转
10.多域名转向
11.三级域名跳转
12.域名镜向
13.某个子目录作镜向
第四章 基于共享存储实现动态内容静态化加速实战（2课时）
本章演练的是基于共享存储实现动态内容静态化加速，主要包括NFS共享文件系统基础安装配置，tomcat动态内容静态化加速实战演练。
详细内容如下：
nginx负载均衡双机配置文件同步复制
检查LVS及整套集群环境运行状态（LVS+nginx+tomcat），停掉tomcat检查
clone生成服务器安装配置nfs服务端
centos64位yum安装服务端nfs-utils rpcnbind
修改nfs配置文件/etc/exports服务端开放共享目录
关闭防火墙，启动nfs相关服务端服务
nginx服务器，tomcat服务器上nfs客户端安装配置并验证共享效果
配置各nfs相关服务开机自启动
通过详细jsp讲解演练将动态内容静态化，提高整体系统性能。
tomcat服务器上目录权限开放保证tomcat，nginx服务有权限读写
动态内容静态化效果验证
第五章 缓存平台安装配置使用（2课时）
本章演练的主流缓存平台的搭建，主要包括基于memcached搭建缓存平台安装配置,基于缓存编程实战演练。
详细内容如下：
Clone生成服务器mem配置网卡及主机名
下载memcached的rpmforge的yum源rpm安装包
yum安装memcached
memcached安装效果验证，服务自启动配置验证
centos、win7上安装telnet客户端
telnet命令帮助检查端口11211是否可访问
防火墙关掉11211口限制
memcached服务器运行状态参数详解
memcached启动命令详解并演练
下载Memcached java客户端jar包
memcache客户端测试代码memtest.jsp详解演练
stats items命令查看memcache中每个slab中存储的item的一些详细信息
stats slabs命令查看memcache中slab中内存分配的情况
memcache的增删改读效果演练
计数器代码count.jsp讲解实战
部署到tomcat1和tomcat2，不同服务器jsp增加服务器识别标识，并验证效果
第六章 mysql主从复制安装配置实战（2课时）
本章演练数据关键存储主流数据库高可靠平台的搭建，主要包括mysql主从复制基础安装配置，mysql主从复制安装配置进阶及结合缓存编程实战演练。
详细内容如下：
Clone生成服务器mysql1配置网卡及主机名
yum安装mysql服务
修改mysql配置字符集utf8
配置mysqld自启动服务并启动验证安装效果
mysql设置root密码
Mysql遗忘密码如何重置关键使用技巧
Clone生成服务器mysql2修改主从配置开启binlog
在主服务器上建立帐户并授权slave同步权限
登录主服务器的mysql，查询master的状态确定binlog文件名及pos偏移值
配置从服务器Slave指定上述主服务器binlog文件名及pos偏移值
启动从同步复制服务并检查从服务器复制功能状态
详细状态实际讲解Slave_IO_Running: Yes //此状态必须YES
Slave_SQL_Running: Yes //此状态必须YES
十分关键
外部访问3306口验证
配置防火墙打开3306口
高级配置解决mysql远程访问授权问题
主从服务器验证主从复制效果
主服务器中建库建表，插入数据
从服务器中查看同步效果
若主服务器有老数据的情况初始化步骤详解mysqldump，source等命令使用
利用Mysql解决memcahe持久化问题
Mysql jdbc 驱动jar包下载
Mysql测试mysqltest.jsp代码讲解
mysql授权小陷阱问题解决
计数器表建立，计数器jsp代码修改并在原有memcache基础上增加mysql持久化部分代码，间隔超过10秒存一次db，并重启memcached检查代码效果
第七章 海量数据平台安装配置实战（2课时）
本章演练主流NoSql分布式数据引擎及MapReduce平台hadoop的搭建，主要包括hadoop分布计算平台基础安装配置，hadoop高级管理，HDFS分布式文件使用深入演练。
详细内容如下：
HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS集群、MapReduce分布式计算、Hadoop分布式集群运行图详解
Clone出hadoop服务器nameNode配置ip及hostname
修改hosts增加nameNode，dataNode的ip映射
nameNode增加hadoop用户及用户组并设置密码
nameNode配置ssh自动登录
Clone出hadoop服务器dataNode1、2配置ip及hostname
修改hosts增加nameNode，dataNode的ip映射
dataNode增加hadoop用户及用户组并设置密码
dataNode1、2配置ssh自动登录
Namenode服务端同步ssh公钥文件到各
dataNode1、2
ssh验证ssh自动登录
Hadoop安装，下载并上传解压缩
建立文件目录tmp
Hadoop配置conf/core-site.xml详解演练
Hadoop配置conf/hdfs-site.xml详解演练
Hadoop配置conf/mapred-site.xml详解演练
Hadoop配置conf/masters
Hadoop配置conf/slaves
复制Hadoop到slaves服务器
启动Hadoop
首次执行，格式化HDFS文件系统hadoop namenode –format
验证Hadoop启动
java自带的小工具jps查看进程
hadoop dfsadmin -report查看服务状态
Web管理：jobtracker、tasktracker、DFS状态查看
Hadoop无法启动可能的原因：防火墙等
管理HDFS中的文件详细演练
第八章 简单队列缓存平台安装配置实战（2课时）
本章演练热门的redis搭建简单的队列及缓存平台，主要包括redis安装配置实战，redis实用编程详细演练。
详细内容如下：
Redis是当前最热门的高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。
基于redis搭建简单的队列及缓存平台
clone服务器redis配置ip及修改主机名
下载安装redis-2.6.11.tar.gz
编译原代码
编译问题编译环境上网yum安装
Redis编译安装，在src目录下生成5个可执行文件，redis-server、redis-cli、redis-benchmark、redis-check-aof、redis-check-dump
设置内存分配策略设置/etc/sysctl.conf 中vm.overcommit_memory = 1，允许分配所有的物理内存，而不管当前的内存状态如何
Redis启动并验证
Redis远程连接6379口
配置防火墙打开6379端口
配置指定log及db文件
配置自启动服务脚本:/etc/init.d/redis
增加权限。配置自启动服务redis
Redis配置文件redis.conf修改，其中daemonize: 默认情况下，redis不是在后台运行的，需要在后台运行，把该项的值更改为yes。
Redis常用命令：del name，exists name，ping，save，redis-cli -p 6379 save
Redis支持String类型，能存储二进制安全的字符串，最大长度为1GB。也可用来存储数字，并支持对数字加减操作。还支持对其部分的修改和获取操作。
List类型操作演练
集合（Sets）类型操作演练
有序集合（Sorted Sets）类型操作演练
Hash类型操作演练
Publish/Subscribe队列订阅发布操作演练
数据过期设置TTL，EXPIRE等关键命令
Redis事务性支持操作演练 MULTI、EXEC、DISCARD等关键命令
Redis常用实用命令：KEYS *、randomkey、TYPE key、rename、renamenx、lastsave、client list、monitor等重要命令演练
连接操作相关的命令详解：
quit：关闭连接（connection）
auth：简单密码认证 持久化
save：将数据同步保存到磁盘
bgsave：将数据异步保存到磁盘
lastsave：返回上次成功将数据保存到磁盘的Unix时戳
shundown：将数据同步保存到磁盘，然后关闭服务 远程服务控制
info：提供服务器的信息和统计
monitor：实时转储收到的请求
slaveof：改变复制策略设置
config：在运行时配置Redis服务器
value操作的命令详解
对String操作的命令详解
对List操作的命令详解
对Set操作的命令详解
对Hash操作的命令详解
支持多DB详解演练
INFO服务信息详解
Redis的java客户端类包Jedis下载
修改计数器jsp代码count_redis.jsp支持自动持久化的cache
最后总回顾整体本次系列高并发大数据架构
大数据高并发系统架构实战方案(LVS负载均衡、Nginx、共享存储、海量数据、队列缓存)
标签：
原文地址：http://www.cnblogs.com/destim/p/5380917.html
