标签：

构建大型网站（百万级访问量）的技术准备

对互联网有了解的人都有自己的想法，有人就把想法付诸实现，做个网站然后开始运营。其实从纯网站技术上来说，因为开源模式的发展，现在建一个小网站已经很简单也很便宜。当访问量到达一定数量级的时候成本就开始飙升了，问题也开始显现了。因为带宽的增加、硬件的扩展、人员的扩张所带来的成本提高是显而易见的，而还有相当大的一部分成本是因为代码重构、架构重构，甚至底层开发语言更换引起的，最惨的就是数据丢失，辛辛苦苦好几年，一夜回到创业前。

减少成本就是增加利润。很多事情，我们在一开始就可以避免，先打好基础，往后可以省很多精力，少操很多心。

假设你是一个参与创业的技术人员，当前一穷二白，什么都要自己做，自己出钱，初期几十万的资金，做一个应用不是特别复杂的网站，那么就要注意以下几点：

一、开发语言

一般来说，技术人员（程序员）创业都是根据自己技术背景选择自己最熟悉的语言，不过考虑到不可能永远是您一个人写程序，这点还得仔细想想。无论用什么语言，最终代码质量是看管理，所以我们还是从纯语言层面来说实际一点。现在流行的java、php、.net、python、ruby都有自己的优劣，python和ruby，现在人员还是相对难招一些，性能优化也会费些力气，.net平台买不起windows server。java、php用的还是最多。对于初期，应用几乎都是靠前端支撑的网站来说，php的优势稍大一些，入门简单、设计模式简单、写起来快、性能足够等，不过不注重设计模式也是它的劣势，容易变得松散，隐藏bug稍多、难以维护。java的优势在于整套管理流程已经有很多成熟工具来辅助，强类型也能避免一些弱智BUG，大多数JAVA程序员比较注重设计模式，别管实不实际，代码格式看起来还是不错的。这也是个劣势，初学者可能太注重模式而很难解决实际需求。

前端不只是html、css这类。整个负责跟用户交互的部分都是前端，包括处理程序。这类程序还是建议用php，主要原因就是开发迅速、从业人员广泛。至于后端例如行为分析、银行接口、异步消息处理等，随便用什么程序，那个只能是根据不同业务需求来选择不同语言了。

二、代码版本管理

如果开发人员之间的网络速度差不多，就SVN；比较分散例如跨国，就hg。大多数人还是svn的.

假设选了svn，那么有几点考虑。一是采用什么树结构。初期可能只有一条主干，往后就需要建立分支，例如一条开发分支，一条上线分支，再往后，可能要每个小组一个分支。建议一开始人少时选择两条分支，开发和线上，每个功能本地测试无误后提交到开发分支，最后统一测试，可以上线时合并到上线分支。如果喜欢把svn当做移动硬盘用，写一点就commit一次也无所谓，就是合并的时候头大一些，这些人可以自己建个分支甚至建立个本地代码仓库，随便往自己的分支提交，测试完毕后再提交到开发分支上。

部署，可以手工部署也可以自动部署。手工部署相对简单，一般是直接在服务器上svn update，或者找个新目录svn checkout，再把web root给ln -s过去。应用越复杂，部署越复杂，没有什么统一标准，只要别再用ftp上传那种形式就好，一是上传时文件引用不一致错误率增加，二是很容易出现开发人员的版本跟线上版本不一致，导致本来想改个错字结果变成回滚的杯具。如果有多台服务器还是建议自动部署，更换代码的机器从当前服务池中临时撤出，更新完毕后再重新加入。

不管项目多小，养成使用版本管理的好习惯，最起码还可以当做你的备份，我的 http://zhiyi.us 虽然就是一个wordpress，可还是svn了，只改动一两句css那也是劳动成果。

三、服务器硬件

别羡慕大客户和有钱人，看看机房散户区，一台服务器孤独的支撑的网站数不清。如果资金稍微充足，建议至少三台的标准配置，分别用作web处理、数据库、备份。web服务器至少要8G内存，双sata raid1，如果经济稍微宽松，或静态文件或图片多，则15k sas raid1+0。数据库至少16G内存，15k sas raid 1+0。备份服务器最好跟数据库服务器同等配置。硬件可以自己买品牌的底板，也就是机箱配主板和硬盘盒，CPU内存硬盘都自己配，也可以上整套品牌，也可以兼容机。三台机器，市场行情6、7万也就配齐了。

web服务器可以既跑程序又当内存缓存，数据库服务器则只跑主数据库（假如是MySQL的话），备份服务器干的活就相对多一些，web配置、缓存配置、数据库配置都要跟前两台一致，这样WEB和数据库任意一台出问题，把备份服务器换个ip就切换上去了。备份策略，可以drbd，可以rsync，或者其他的很多很多的开源备份方案可选择。rsync最简单，放cron里自己跑就行。备份和切换，建议多做测试，选最安全最适合业务的，并且尽可能异地备份。

四、机房

三种机房尽量不要选：联通访问特别慢的电信机房、电信访问特别慢的联通机房、电信联通访问特别慢的移动或铁通机房。那网通机房呢？亲，网通联通N久以前合并改叫联通了。多多寻找，实地参观，多多测试，多方打探，北京、上海、广州等各个主节点城市，还是有很多优质机房的，找个网络质量好，管理严格的机房，特别是管理要严格，千万别网站无法访问了，打个电话过去才知道别人维护时把你网线碰掉了，这比DOS都头疼。自己扯了几根光纤就称为机房的，看您抗风险程度和心理素质了。机房可以说是非常重要，直接关系到网站访问速度，网站访问速度直接关系到用户体验，我可以翻墙看风景，但买个网游vpn才能打开你这个还不怎么知名的网站就有难度了。或许您网站的ajax很出色，可是document怎么也不ready，一些代码永远绝缘于用户。

五、架构

初期架构一般比较简单，web负载均衡+数据库主从+缓存+分布式存储+队列。大方向上也确实就这几样东西，细节上也无数文章都重复过了，按照将来会有N多WEB，N多主从关系，N多缓存，N多xxx设计就行，基本方案都是现成的，只是您比其他人厉害之处就在于设计上考虑到缓存失效时的雪崩效应、主从同步的数据一致性和时间差、队列的稳定性和失败后的重试策略、文件存储的效率和备份方式等等意外情况。缓存总有一天会失效，数据库复制总有一天会断掉，队列总有一天会写不进去，电源总有一天会烧坏。根据墨菲定律，如果不考虑这些，网站早晚会成为茶几。

六、服务器软件

Linux、nginx、php、mysql，几乎是标配，我们除了看名字，还得选版本。Linux发行版众多，只要没特殊要求，就选个用的人最多的，社区最活跃的，配置最方便的，软件包最全最新的，例如debian、ubuntu。至于RHEL之类的嘛，你用只能在RHEL上才能运行的软件么？剩下的nginx、php、mysql、activemq、其他的等等，除非你改过这些软件或你的程序真的不兼容新版本，否则尽量版本越新越好，版本新，意味着新特性增多、BUG减少、性能增加。总有些道听途说的人跟你说老的版本稳定。所谓稳定，是相对于特殊业务来说的，而就一个php写的网站，大多数人都没改过任何服务器软件源代码，绝大多数情况是能平稳的升级到新版本的。类似于jdk5到jdk6，python2到python3这类变动比较大的升级还是比较少见的。看看ChangeLog，看看升级说明，结合自己情况评估一下，越早升级越好，别人家都用php6写程序了这边还php4的逛游呢。优秀的开源程序升级还是很负责任的，看好文档，别怕。

七、数据库

几乎所有操作最后都要落到数据库身上，它又最难扩展（存储也挺难）。对于mysql，什么样的表用myisam，什么样的表用innodb，在开发之前要确定。复制策略、分片策略，也要确定。表引擎方面，一般，更新不多、不需要事务的表可以用myisam，需要行锁定、事务支持的，用innodb。myisam的锁表不一定是性能低下的根源，innodb也不一定全是行锁，具体细节要多看相关的文档，熟悉了引擎特性才能用的更好。现代WEB应用越来越复杂了，我们设计表结构时常常设计很多冗余，虽然不符合传统范式，但为了速度考虑还是值得的，要求高的情况下甚至要杜绝联合查询。编程时得多注意数据一致性。

复制策略方面，多主多从结构也最好一开始就设计好，代码直接按照多主多从来编写，用一些小技巧来避免复制延时问题，并且还要解决多数据库数据是否一致，可以自己写或者找现成的运维工具。

分片策略。总会有那么几个表数据量超大，这时分片必不可免。分片有很多策略，从简单的分区到根据热度自动调整，依照具体业务选择一个适合自己的。避免自增ID作为主键，不利于分片。

用存储过程是比较难扩展的，这种情形多发生于传统C/S，特别是OA系统转换过来的开发人员。低成本网站不是一两台小型机跑一个数据库处理所有业务的模式，是机海作战。方便水平扩展比那点预分析时间和网络传输流量要重要的多的多。

NoSQL。这只是一个概念。实际应用中，网站有着越来越多的密集写操作、上亿的简单关系数据读取、热备等，这都不是传统关系数据库所擅长的，于是就产生了很多非关系型数据库，比如Redis/TC&TT/MongoDB/Memcachedb等，在测试中，这些几乎都达到了每秒至少一万次的写操作，内存型的甚至5万以上。例如MongoDB，几句配置就可以组建一个复制+自动分片+failover的环境，文档化的存储也简化了传统设计库结构再开发的模式。很多业务是可以用这类数据库来替代mysql的。

八、缓存

数据库很脆弱，一定要有缓存在前面挡着，其实我们优化速度，几乎就是优化缓存，能用缓存的地方，就不要再跑到后端数据库那折腾。缓存有持久化缓存、内存缓存，生成静态页面是最容易理解的持久化缓存了，还有很多比如varnish的分块缓存、前面提到的memcachedb等，内存缓存，memcached首当其冲。缓存更新可用被动更新和主动更新。被动更新的好处是设计简单，缓存空了就自动去数据库取数据再把缓存填上，但容易引发雪崩效应，一旦缓存大面积失效，数据库的压力直线上升很可能挂掉。主动缓存可避免这点但是可能引发程序取不到数据的问题。这两者之间如何配合，程序设计要多动脑筋。

九、队列

用户一个操作很可能引发一系列资源和功能的调动，这些调动如果同时发生，压力无法控制，用户体验也不好，可以把这样一些操作放入队列，由另几个模块去异步执行，例如发送邮件，发送手机短信。开源队列服务器很多，性能要求不高用数据库当做队列也可以，只要保证程序读写队列的接口不变，底层队列服务可随时更换就可以，类似Zend Framework里的Zend_Queue类，java.util.Queue接口等。

十、文件存储

除了结构化数据，我们经常要存放其他的数据，像图片之类的。这类数据数量繁多、访问量大。典型的就是图片，从用户头像到用户上传的照片，还要生成不同的缩略图尺寸。存储的分布几乎跟数据库扩展一样艰难。不使用专业存储的情况下，基本都是靠自己的NAS。这就涉及到结构。拿图片存储举例，图片是非常容易产生热点的，有些图片上传后就不再有人看，有些可能每天被访问数十万次，而且大量小文件的异步备份也很耗费时间。

为了将来图片走cdn做准备，一开始最好就将图片的域名分开，且不用主域名。很多网站都将cookie设置到了.domain.ltd，如果图片也在这个域名下，很可能因为cookie而造成缓存失效，并且占多余流量，还可能因为浏览器并发线程限制造成访问缓慢。

如果用普通的文件系统存储图片，有一个简单的方法。计算文件的hash值，比如md5，以结果第一位作为第一级目录，这样第一级有16个目录。从0到F，可以把这个字母作为域名，0.yourimg.com到f.yourimg.com（客户端dns压力会增大），还可以扩展到最多16个NAS集群上。第二级可用年月例如，201011，第三级用日，第四级可选，根据上传量，比如am/pm，甚至小时。最终的目录结构可能会是 e/201008/25/am/e43ae391c839d82801920cf.jpg。rsync备份时可以用脚本只同步某年某日某时的文件，避免计算大量文件带来的开销。当然最好是能用专门的分布式文件系统或更专业点的存储解决方案。

EverNote的系统架构

我们就先初略的从Evernote 服务的物理构造说起，这里我不会详细的介绍每一个组件。有意思的点会在接下来的文章中详述。

我们先从图片的左上角开始说起，所有的服务器状态截止为2011年5月17日。

网络：几乎所有的Evernote流量都是通过https://www.evernote.com:443 传输的。包括所有的“网络”的活动，还包括基于Thrift的客户端同步服务API 。他每天可以处理1.5亿的HTTPS请求，峰值为250Mbps的流量。（对于我们半夜运营的团队来说，最不幸的是，每天的峰值时间发生在太平洋时间每天的6:30左右）

我们通过主要网络供应商（NTT）和次要供应商（Level 3）使用BGP（边界网关协议）来完全独立的分配流量，在一月份我们的SSL流量达到了老的负载均衡设备的极限后我们就新上了通过Vyatta防火墙过滤的A10 负载均衡，我们很容易的使用一台AX 2500设备来转移服务器故障。但我们准备测试其N +1群集配置以备未来的增长。

碎片：Evernote服务的核心是一组称为“碎片”的服务器组。每一台“碎片”用来保存和处理10万Evernote注册用户的所有数据和流量（Web和API）因为我们有超过900万用户，将有大约有90台“碎片”。

设备上，“碎片”被部署为一对有两个四核英特尔处理器，很多内存和镜像RAID配的置希捷企业级硬盘的SuperMicro盒子。在每个盒子中我们运行了 Debian的 主机管理两个 Xen的 虚拟机。盒子上的主虚拟机运行核心应用程序 Debian + Java 6 + Tomcat + Hibernate + Ehcache +  Stripes + GWT + MySQL (for metadata)/ （元数据）+ hierarchical local file systems (for file data)/本地文件系统层次结构（数据文件）。

盒子上主虚拟机中的所有用户数据使用 DRBD技术 将同步复制到不同盒子的备份虚拟机上。这就意味着每一种用户数据会存在于两台物理服务器中，并有四份拷贝，并且每晚都会备份。如果我们的一台服务器存在问题，我们可以使用Heartbeat在最短的时间内将服务从注虚拟机切换到另一台盒子的备虚拟机上。

因为每个用户的数据汇总在一个虚拟服务器，我可以在没有与外部依赖的情况下独立运行“碎片”， 因此，一台“碎片”出现了问题并不会影响其他“碎片”。

为了连接用户和负载均衡设备，我们在浮躁均衡设备上花了大量的工作来通过UR L或Cookies来寻找对应的“碎片”。

用户信息保存：绝大多数的用户数据存储在单层的NoteStore碎片中，同时他们共享一个主“UserStore”帐户数据库（MySQL）。数据中包含少量的信息，如：用户名、MD5处理过的密码和“碎片”服务器的ID。这些数据足够的小，以至于可以在内存中储存。但是我们还会使用RAID镜像、DRBD复制确保数据备份的高度冗余。

高级图片处理：为了让你在笔记中可以搜索图片，我们每天使用28台8核服务器处理新图片。在忙的时候，一天可以处理130万到140万张图片。目前服务器Linux和Windows一起在使用，但是我们已经计划化把我们把所有的服务器在本月底换成debian系统来解决先前一些很老的问题。

这些服务器运行了我们研发团队自行开发的“先进的图像识别”程序。这个程序清每幅图片，识别文字形区域，然后和“识别引擎”进行匹配，这种识别引擎，比如我们的专业团队制作开发手写识别引擎，其中包括授权给我们商业合作伙伴的技术。

其他服务：我们所有的服务器都位于California，Santa Clara 的两个数据中心，除了我们核心服务的设备以外，我们也有小的服务器群组来处理小的任务，小的服务器群组只要小的服务器群组只要一到两个“盒子”或虚拟机。例如，我们的

SMTP邮件网关服务器就是由两台装有Postfix和一个基于Dwarf 的Java邮件处理程序的debian服务器。我们的@myen Twitter gateway 是一个简单的基于twitter4j的内部服务程序。

我们公司的网站使用的是Apache，公司的博客使用的是WordPress系统，我们大部份使用的拓扑结构交换机来自于惠普 ，我们使用Puppet来进行配置管理，使用Zabbix、Opsview和AlertSite来进行监测性能。我们每晚通过一个千兆的使用比较软件将数据备份到另一个数据中心。

等等，为什么？我知道这个文章留下了明显的问题，比如为什么我们在许多地方选择了X而没有选择Y，为什么我们使用自己的服务器群组而不实用云提供商?为什么我们还在使用一些旧的技术（Java,SQL,local storage等）而不是新的神奇的技术。

这些问题我们会在未来几个月在后面的文章中进行详述，尽情大家期待！

Facebook的系统架构

根据我现有的阅读和谈话，我所理解的今天Facebook的架构如下：

• Web 前端是由 PHP 写的。Facebook 的 HipHop [1] 会把PHP转成 C++ 并用 g++编译，这样就可以为模板和Web逻贺业务层提供高的性能。
• 业务逻辑以Service的形式存在，其使用Thrift [2]。这些Service根据需求的不同由PHP，C++或Java实现（也可以用到了其它的一些语言……）
• 用Java写的Services没有用到任何一个企业级的应用服务器，但用到了Facebook自己的定制的应用服务器。看上去好像是重新发明轮子，但是这些Services只被暴露给Thrift使用（绝大所数是这样），Tomcat太重量级了，即使是Jetty也可能太过了点，其附加值对Facebook所需要的没有意义。
• 持久化由MySQL, Memcached [3], Facebook 的 Cassandra [4], Hadoop 的 HBase [5] 完成。Memcached 使用了MySQL的内存Cache。Facebook 工程师承认他们的Cassandra 使用正在减少，因为他们更喜欢HBase，因为它的更简单的一致性模型，以到其MapReduce能力。
• 离线处理使用Hadoop 和 Hive。
• 日志，点击，feeds数据使用Scribe [6]，把其聚合并存在 HDFS，其使用Scribe-HDFS [7]，因而允许使用MapReduce进行扩展分析。
• BigPipe [8] 是他们的定制技术，用来加速页面显示。
• Varnish Cache [9]用作HTTP代理。他们用这个的原因是高速和有效率。 [10].
• 用来搞定用户上传的十亿张照片的存储，其由Haystack处理，Facebook自己开发了一个Ad-Hoc存储方案，其主要做了一些低层优化和“仅追加”写技术 [11].
• Facebook Messages 使用了自己的架构，其明显地构建在了一个动态集群的基础架构上。业务逻辑和持久化被封装在一个所谓的’Cell’。每个‘Cell’都处理一部分用户，新的‘Cell’可以因为访问热度被添加[12]。 持久化归档使用HBase [13]。
• Facebook Messages 的搜索引擎由存储在HBase中的一个倒置索引的构建。 [14]
• Facebook 搜索引擎实现细节据我所知目前是未知状态。
• Typeahead 搜索使用了一个定制的存储和检索逻辑。 [15]
• Chat 基于一个Epoll 服务器，这个服务器由Erlang 开发，由Thrift存取 [16]

关于那些供给给上述组件的资源，下面是一些信息和数量，但是有一些是未知的：

• Facebook估计有超过60,000 台服务器[16]。他们最新的数据中心在俄勒冈州的Prineville，其基于完全自定设计的硬件[17] 那是最近才公开的 Open Compute 项目[18]。
• 300 TB 的数据存在 Memcached 中处理 [19]
• 他们的Hadoop 和 Hive 集群由3000 服务器组成，每台服务器有8个核，32GB的内存，12TB的硬盘，全部有2万4千个CPU的核，96TB内存和36PB的硬盘。 [20]
• 每天有1000亿的点击量，500亿张照片， 3 万亿个对象被 Cache，每天130TB的日志（2010年7月的数据） [21]

• 流量跟踪系统：当当网用户行为跟踪系统

  众所周知，当当网有一套很完善的推荐系统机制。正对个人数据数据的推荐主要还是来自于对个人数据的捕获。从当当网发现了一个自己做的用户行为跟踪系统，处于学习的目的，大家一起来分析。当当网的用户行为跟踪系统出了跟踪用户访问的页面外，还跟踪用户在页面上的具体点击。下面就大家一起来分析。

  以下主要跟踪的内容：

  

  浏览器储存的Cookies：

  

  具体的跟踪代码：（已经添加注释）

  JavaScript

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356

  if (typeof ddclick_page_tracker == "undefined") {       //搜索引擎URL辨别     function __dd_Campaign() {         var f = [             ["baidu", "word"],             ["baidu", "wd"],             ["google", "q"],             ["soso", "w"],             ["sogou", "query"],             ["youdao", "q"],             ["bing", "q"],             ["yahoo", "p"],             ["ask", "q"]         ];         this.transCampaignURL = function (a) {             var b = /^https?:\/\/(.*?)($|\/.*)/;             var c = b.exec(a);             if (c != null) {                 var d = "";                 d = c[1];                 var e = URLUtil.getKeyValueArray(a);                 for (var i = 0; i &lt; f.length - 1; i++) {                     if (d.indexOf(f[i][0]) &gt; 0) {                         if (typeof e[f[i][1]] != "undefined") {                             d = d + "|" + e[f[i][1]];                             return d                         }                     }                 }                 return d + "|"             } else {                 return a + "|"             }         }     };       //解析关键词     var URLUtil = {         getKeyValueArray: function (a) {             var b = new Object();             if (a.indexOf("?") &gt; 0) {                 var c = a.substring(a.indexOf("?") + 1);                 if (c.indexOf("#") &gt; 0) {                     c = c.substring(0, c.indexOf("#"))                 }                 var d = c.split("&amp;");                 for (var i = 0; i &lt; d.length; i++) {                     b[d[i].split("=")[0]] = d[i].split("=")[1]                 }             }             return b         }     };       //设置Cookies     var CookieUtil = {         get: function (a) {             var b = encodeURIComponent(a) + "=",                 cookieStart = document.cookie.indexOf(b),                 cookieValue = null;             if (cookieStart &gt; -1) {                 var c = document.cookie.indexOf(";", cookieStart);                 if (c == -1) {                     c = document.cookie.length                 }                 cookieValue =decodeURIComponent(document.cookie.substring(cookieStart + b.length, c))             }             return cookieValue         },           set: function (a, b, c, d, e, f) {             var g = encodeURIComponent(a) + "=" + encodeURIComponent(b);             if (c instanceof Date) {                 g += "; expires=" + c.toGMTString()             }             if (d) {                 g += "; path=" + d             }             if (e) {                 g += "; domain=" + e             }             if (f) {                 g += "; secure"             }             document.cookie = g         },         unset: function (a, b, c, d) {             this.set(a, "", new Date(0), b, c, d)         }     };     //添加句柄跟踪     function addEventHandler(a, b, c) {         if (a.addEventListener) {             a.addEventListener(b, c, false)         } else if (a.attachEvent) {             a.attachEvent("on" + b, c)         } else {             a["on" + b] = c         }     };     //删除句柄跟踪     function removeEventHandler(a, b, c) {         if (a.removeEventListener) {             a.removeEventListener(b, c, false)         } else if (a.detachEvent) {             a.detachEvent("on" + b, c)         } else {             a["on" + b] = null         }     };     //页面跟踪     function PageTracker() {         var k = 0;         var l = "";         var o = 0;         var p = "";         var q = "";         var r = escape(",");         var s = "dangdang.com";         var t = ["<a href="http://click.dangdang.com/">http://click.dangdang.com/</a>", "<a href="https://click.dangdang.com/">https://click.dangdang.com/</a>"];         var u = "http:";         try {             u = document.location.protocol         } catch (e) {}         var v = ("https:" == u ? t[1] : t[0]);           //获取页面渠道来源（优先判断浏览器是否带#dd_refer=,如果有获取后面的参数，如果没有浏览器referer）         var w = function (a) {                 if (a.indexOf("#dd_refer=") &gt; 0) {                     p = unescape(a.substring(a.indexOf("#dd_refer=") +"#dd_refer=".length))                 } else {                     p = document.referrer;                     if (!p) {                         try {                             if (window.opener &amp;&amp;window.opener.location) {                                 p = window.opener.location.href                             }                         } catch (e) {}                     }                 }                 p = p.replace(/\t|\n|\r/g, "")             };           //拼接请求URL         //调取方法：         //跟踪页面浏览：x(‘‘, ‘‘, ‘‘, p, q, ‘‘, ‘1‘, document.title.replace(/\t|\n|\r/g, ""), ‘‘);         //跟踪页面点击：x(‘‘, objName, regionIds, p, q, c, ‘2‘, document.title.replace(/\t|\n|\r/g, ""), objTagName)         //异步调取？：x(‘‘, ‘‘, ‘‘, p, a, ‘‘, ‘5‘, document.title.replace(/\t|\n|\r/g, ""), ‘‘)         //第一个参数a：空         //第二个参数b：页面中的锚点         //第三个参数c：记录多个点击锚点 id         //第四个参数d：流量来源URL         //第五个参数e：当前页面页面URL         //第六个参数f：页面转向URL         //第七个参数g：固定值,记录跟踪类型         //第八个参数h：页面标题         //第九个参数i：记录页面类 class         //参数l：&amp;out_refer=         //参数k：&amp;visit_count= 访问次数         //参数o：&amp;is_first_pv=         //参数i：&amp;ctr_type=           var x = function (a, b, c, d, e, f, g, h, i) {                 if (b == null) b = ‘‘;                 var j = new Image();                 j.src = v + ‘page_tracker.aspx?m_id=‘ + a + ‘&amp;o_id=‘+ b + ‘&amp;region_ids=‘ + c + ‘&amp;out_refer=‘ + escape(l) +‘&amp;refer_url=‘ + escape(d) + ‘&amp;url=‘ + escape(e) + ‘&amp;to_url=‘+ escape(f) + ‘&amp;type=‘ + g + ‘&amp;visit_count=‘ + k +‘&amp;is_first_pv=‘ + o + ‘&amp;ctr_type=‘ + i + "&amp;r=" +Math.random() + ‘&amp;title=‘ + escape(h);                 o = 0             };              //记录点击类型（表单统计）         var z = function (a) {                 if (a == null || a.tagName == null) return false;                 if (a.tagName.toLowerCase() == "area" ||a.tagName.toLowerCase() == "a" || (a.tagName.toLowerCase() == "input"&amp;&amp; (a.type.toLowerCase() == "button" || a.type.toLowerCase() =="sumbit" || a.type.toLowerCase() == "image"))) {                     return true                 }                 if (a.getAttribute("onclick") != "undefined" &amp;&amp;a.getAttribute("onclick") != null) {                     return true                 }                 return false             };           //获取时间+随机数         //主要用途：标明唯一身份访问         var A = function () {                 var n = new Date();                 var y = n.getFullYear() + ‘‘;                 var m = n.getMonth() + 1;                 if (m &lt; 10) m = "0" + m;                 var d = n.getDate();                 if (d &lt; 10) d = "0" + d;                 var H = n.getHours();                 if (H &lt; 10) H = "0" + H;                 var M = n.getMinutes();                 if (M &lt; 10) M = "0" + M;                 var S = n.getSeconds();                 if (S &lt; 10) S = "0" + S;                 var a = "00" + n.getMilliseconds();                 a = a.substr(a.length - 3, 3);                 return y + m + d + H + M + S + a + Math.floor(100000 +Math.random() * 900000) + Math.floor(100000 + Math.random() * 900000) +Math.floor(100000 + Math.random() * 900000)             };           //获取Cookies的值         var B = function (a) {                 var b = document.cookie.match(new RegExp("(^| )" + a +"=([^;]*)(;|$)"));                 if (b != null) return unescape(b[2]);                 return ‘‘             };           //设置Cookies值           var C = function () {                 if (B(‘__permanent_id‘) == ‘‘ ||!/^\d{35}$/.test(B(‘__permanent_id‘))) {                     var a = new Date(2020, 1, 1);                     CookieUtil.set("__permanent_id", A(), a, "/", s)                 }                 if (CookieUtil.get("__ddclicka")) {                     CookieUtil.unset("__ddclicka", null, s)                 }                 var b = "0000000001";                 //有效期一年                 var c = new Date();                 c.setTime(c.getTime() + 2 * 365 * 24 * 60 * 60 * 1000);                 //有效期半小时                 var d = new Date();                 d.setTime(d.getTime() + 30 * 60 * 1000);                 var e;                 if (CookieUtil.get("__ddclick_visit") &amp;&amp;CookieUtil.get("__ddclick_visit").split(".").length == 2) {                     k = CookieUtil.get("__ddclick_visit").split(".")[1];                     if (isNaN(parseInt(k))) {                         k = 0                     }                     if (!CookieUtil.get("__trace_id") ||!CookieUtil.get("__ddclickc")) {                         k++;                         e = b + "." + k;                         CookieUtil.set("__ddclick_visit", e, c, "/", s);                         CookieUtil.set("__trace_id", A(), d, "/", s);                         CookieUtil.set("__ddclickc", b, null, "/", s);                         o = 1                     } else {                         CookieUtil.set("__trace_id", A(), d, "/", s)                     }                 } else {                     k = 1;                     e = b + "." + k;                     CookieUtil.set("__ddclick_visit", e, c, "/", s);                     CookieUtil.set("__trace_id", A(), d, "/", s);                     CookieUtil.set("__ddclickc", b, null, "/", s);                     o = 1                 }                 D()             };           //来源关键词记录            var D = function () {                 var a = new Date();                 a.setTime(a.getTime() + 24 * 60 * 60 * 1000);                 if (p == "" || p == null || p == "undefined") {                     if (o) {                         l = "|";                         CookieUtil.set("out_refer", l, a, "/", s)                     }                 } else {                     var b = /^https?:\/\/[\w\.]*?dangdang/;                     if (!b.test(p)) {                         __dd_Campaign_obj = new __dd_Campaign();                         l = __dd_Campaign_obj.transCampaignURL(p);                         CookieUtil.set("out_refer", l, a, "/", s)                     }                 }                 l = CookieUtil.get("out_refer")             };           //跟踪页面点击         this.trackPageclick = function (e) {             e = e || window.event;             if (e == null) return;             var a = e.srcElement || e.target;             var b = true;             while (true) {                 b = z(a);                 if (b) {                     break                 } else {                     a = a.parentNode;                     if (a == null || a.tagName == null ||a.tagName.toLowerCase() == "body" || a.tagName.toLowerCase() == "html")return                 }             }             var c = objName = regionIds = objTagName = "";             if (a.tagName) objTagName = a.tagName;             if (a.href) c = a.href;             if (a.id) objName = a.id;             else if (a.name) objName = a.name;             a = a.parentNode;             while (a != null &amp;&amp; a.tagName != null &amp;&amp;a.tagName.toLowerCase() != "body" &amp;&amp; a.tagName.toLowerCase() !="html") {                 if (a.id) {                     regionIds += a.id + r                 } else if (a.name) {                     regionIds += a.name + r                 } else if (a.getAttribute) {                     var d = a.getAttribute("name");                     if (d) {                         regionIds += d + r                     }                 }                 a = a.parentNode             }             C();             x(‘‘, objName, regionIds, p, q, c, ‘2‘,document.title.replace(/\t|\n|\r/g, ""), objTagName)         };           //跟踪页面浏览         this.trackPageview = function () {             if (arguments.length &gt; 0) {                 p = q;                 q = arguments[0];                 q = q.replace(/\t|\n|\r/g, "")             } else {                 try {                     q = location.href                 } catch (e) {                     q = document.URL                 }                 if (typeof _ozurltail != "undefined") {                     q = q + _ozurltail                 }                 q = q.replace(/\t|\n|\r/g, "");                 w(q)             }             C();             x(‘‘, ‘‘, ‘‘, p, q, ‘‘, ‘1‘,document.title.replace(/\t|\n|\r/g, ""), ‘‘);             removeEventHandler(document, "click", this.trackPageclick);             addEventHandler(document, "click", this.trackPageclick)         };           //发送数据请求         this.trackPingPHP = function (a) {             a = a.replace(/\t|\n|\r/g, "");             w(a);             x(‘‘, ‘‘, ‘‘, p, a, ‘‘, ‘5‘,document.title.replace(/\t|\n|\r/g, ""), ‘‘)         }     };     ddclick_page_tracker = new PageTracker();     ddclick_page_tracker.trackPageview();     //监测页面点击     function __dd_trackPageclick(e) {         if (e == null) e = window.event ||arguments.callee.caller.arguments[0];         ddclick_page_tracker.trackPageclick(e)     };   //监测页面浏览     function __dd_trackPageview_forAjax(a) {         ddclick_page_tracker.trackPageview(a)     } }

  
  

构建大型网站————系统架构

标签：

原文地址：http://my.oschina.net/liting/blog/418713