Erick » 技术大类 http://blog.xiongchuan.org Even a great life is only a life until you make it. Thu, 10 Mar 2011 14:44:44 +0000 en hourly 1 http://wordpress.org/?v=3.1 终于下了决心，把博客从国内移到国外了 http://blog.xiongchuan.org/blog-move-to-us.html http://blog.xiongchuan.org/blog-move-to-us.html#comments Sun, 16 Jan 2011 04:49:38 +0000 Erick http://www.pigblog.net/?p=672 再一次使用了sudu的在线压缩文件，打包下载快一点儿，又忘了上回的教训，直接上传到bluehost的空间，
可想而知，头部有输出，这回连后台都进不了。

用sudu的文件打包在所有文件末尾都加了一个空行，导致php包含的时候，就有空白输出了。

还好，哥为了解决这个问题，之前写过一段代码，现在又有用了。
删除所有文件的末行的空白。

如果有想要下载的哥，请稳步到 PHP批量删除空行|wordpress迁移的艰辛

Related Posts

]]> http://blog.xiongchuan.org/blog-move-to-us.html/feed 1 PHP替换全角符合出现乱码的解决办法 http://blog.xiongchuan.org/convert-encoding.html http://blog.xiongchuan.org/convert-encoding.html#comments Fri, 02 Jul 2010 01:00:57 +0000 Erick http://www.pigblog.net/?p=637 ’:'，遇到’。。。好’,这时候会出现乱码，估计还很多其他样的情况，GOOGLE一下，在进行替换之前把内容转码到UTF-8,完了后再转换到GBK。 PS:这是在GBK编码的情况下，遇到的。 Most Commented Posts发一个dedeEIMS企业模板Guestbook博客终于恢复啦MySQL Can’t find messagefile,解决方法2010沉默几天武汉的这个六月搬家啦,上班不怕迟到了……About]]> str_replace,strtr,mb_ereg_replace,替换如’：’=>’:'，遇到’。。。好’,这时候会出现乱码，估计还很多其他样的情况，GOOGLE一下，在进行替换之前把内容转码到UTF-8,完了后再转换到GBK。
PS:这是在GBK编码的情况下，遇到的。

Most Commented Posts

]]> http://blog.xiongchuan.org/convert-encoding.html/feed 0 Form表单的submit()，IE6下提交不了的解决办法 http://blog.xiongchuan.org/javascript-form-submit-ie6.html http://blog.xiongchuan.org/javascript-form-submit-ie6.html#comments Sun, 13 Jun 2010 05:07:26 +0000 Erick http://www.pigblog.net/?p=625 今天遇到IE6下的submit不好使，baidu之后留下来了。
一般在A标签下面，



$('submitA').onclick = function(){
    $('formId').submit();
}
如果你的写法像上面一样， 这时候会发现IE6下面提交不了表单。解决的办法有两种
一、把A标签换个写法

把其中的javascript:void(0)换成#就可以了

二、在javascript里面，对submit动作处理一下
$('submitA').onclick = function(){
setTimeout(function(){$('formId').submit();},0);
}

Most Commented Posts

]]> http://blog.xiongchuan.org/javascript-form-submit-ie6.html/feed 5 Eclipse error:selection job title,已解决 http://blog.xiongchuan.org/eclipse-erro-selection-job-title.html http://blog.xiongchuan.org/eclipse-erro-selection-job-title.html#comments Mon, 15 Mar 2010 05:19:55 +0000 Erick http://www.pigblog.net/?p=615 今天在ZOL，在一台很破的机器上，在一个老的XP上用Eclipse，出现

An internal error occurred during: “Selection Job titile”.

解决办法是
使用http://download.eclipse.org/technology/dltk/updates/进行更新

其他方法可以参考

http://wiki.eclipse.org/PDT/Installation#Known_Problems

Related Posts

]]> http://blog.xiongchuan.org/eclipse-erro-selection-job-title.html/feed 2 PHP批量删除空行|wordpress迁移的艰辛 http://blog.xiongchuan.org/batch-delete-blank-lines.html http://blog.xiongchuan.org/batch-delete-blank-lines.html#comments Thu, 24 Dec 2009 08:48:03 +0000 Erick http://www.pigblog.net/?p=501 博客这些天一直处于死亡状态，昨天空间商帮忙把博客从浙江机房搬到河南机房了，暂时可以开通了。
Warning: Cannot modify header information – headers already sent by (output started at /*****/wp-includes/compat.php:230
头部有输出，昨天加班到比较晚，回家看《花木兰》，没去管博客，今天来公司，发现问题严重了，Google竟然抓取了页面
pigblog
打开这些PHP的文件，发现下面全部都多了两行，就是php闭合标签之后多出了两个空行，造成在include 或是 require 后会有输出。
开始以为是只有几个文件是这样的，多打开几个发现，整个空间里面的php文件js,css,php都多出了两个空行，估计是华夏名网的在线文件管理器打包造成的。
因为本人对正则不熟悉，不过其实用正则替换倒不是太难，关键问题在于windows和linux下面的换行，回车符号的区别，费了不少时间研究。
虽然我知道windows下面是\r\n linux下面是\n 可是我用\r\n在windows系统上怎么也匹配不了，后来才发现我用的eclipse里面的我用的是Unix格式，换行就是\n，而不是\r\n，功夫不负苦心人哈，把代码贴出，也可以下载，有什么更好的方法，记得告诉我哈，各位！

//$path=__DIR__;//php 5.3
$path=dirname(__FILE__);
function get_all_files($path,$pattern='/php$|js$|css$/i'){
    $list = array();
    foreach( glob( $path.DIRECTORY_SEPARATOR.'*') as $item ){
        if( is_dir( $item ) ){
         $list = array_merge( $list , get_all_files( $item,$pattern ) );
        }
        else{
            if(preg_match($pattern,$item)){
                $list[] = $item;
        	}
        }
    }
    return $list;
}
$list=get_all_files($path,'/php$/i');
foreach($list as $v){
$str=file_get_contents($v);
//var_dump($str);
$str=preg_replace("/\?>\s*$/i",'?>',$str);
//var_dump($str);
file_put_contents($v,$str);
}
header('Content-Type:text/html;Charset=utf-8');
echo "删除空白完成，Have a good time!";
echo "回首页";

点这里下载文件
解压后放到空间的根目录下面，会遍历所有子目录，并删除末尾的空行。

Related Posts

]]> http://blog.xiongchuan.org/batch-delete-blank-lines.html/feed 7 MySQL Can’t find messagefile,解决方法 http://blog.xiongchuan.org/cant-find-messagefile-resolve.html http://blog.xiongchuan.org/cant-find-messagefile-resolve.html#comments Tue, 08 Dec 2009 14:02:00 +0000 Erick http://www.pigblog.net/?p=491 今天新本本到了，晚上回家来安装xampp，APACHE还是一样好装，加入服务后，关闭80端口后，就启动了。
mysql竟然出问题，这还是第一次启动不了呢。1067错误，在windows的日志里查看，错误如下

Can’t find messagefile ‘\xampp\mysql\share\english\errmsg.sys’
Can’t create test file \xampp\mysql\data\cherry-PC.lower-test

在WINDOWS XP下没有问题，因为我现在用的是VISTA，解决办法是找到xampp\mysql\bin\mysql.ini
把其中的\xampp\ 加上盘符，比如我的xampp装在E盘，改变后就是E:\xampp\
这样就可以启动啦。

Related Posts

]]> http://blog.xiongchuan.org/cant-find-messagefile-resolve.html/feed 22 [转]大型网站系统架构分析 http://blog.xiongchuan.org/the-design-of-the-big-site.html http://blog.xiongchuan.org/the-design-of-the-big-site.html#comments Mon, 07 Dec 2009 02:19:25 +0000 Erick http://www.pigblog.net/?p=482 收藏下，讲到的多，可惜没有深入，学习中…
来源:http://www.cnblogs.com/silverLee/archive/2009/11/05/1596418.html
千万级的注册用户，千万级的帖子，nTB级的附件，还有巨大的日访问量，大型网站采用什么系统架构保证性能和稳定性？

首先讨论一下大型网站需要注意和考虑的问题。
数据库海量数据处理：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。另外在高UPDATE的情况下，更新一个聚焦索引的时间基本上是不可忍受的。索引和更新是一对天生的冤家。
高并发死锁：平时我们感觉不到，但数据库死锁在高并发的情况下的出现的概率是非常高的。
文件存储的问题：大型网站有海量图片数据、视频数据、文件数据等等，他们如何存储并被有效索引？高并发的情况下IO的瓶颈问题会迅速显现。也许用RAID和专用存贮服务器能解决眼下的问题，但是还有个问题就是各地的访问问题，也许我们的服务器在北京，可能在云南或者***的访问速度如何解决?如果做分布式，那么我们的文件索引以及架构该如何规划。

接下来讨论大型网站的底层系统架构，来有效的解决上述问题。

毋庸置疑，对于规模稍大的网站来说，其背后必然是一个服务器集群来提供网站服务，例如，2004年eBay的服务器有2400台，估计现在更多。当然，数据库也必然要和应用服务分开，有单独的数据库服务器集群。对于像淘宝网这样规模的网站而言，就是应用也分成很多组。

大型网站系统架构_thumb


下面，就从服务器操作系统与Web服务器、数据库、服务器集群与负载均衡、缓存、独立的图片服务器、其它等几个方面来分析大型网站的系统架构。

服务器操作系统与Web服务器

最底层首先是操作系统。好的操作系统能提高好的性能、稳定性和安全性，而这些对大型网站的性能、安全性和稳定性都是至关重要的。
淘宝网（阿里巴巴）: Linux操作系统 + Web 服务器: Apache
新浪：FreeBSD + Web 服务器：Apache
Yahoo：FreeBSD + Web 服务器：自己的
Google: 部分Linux + Web 服务器：自己的
百度：Linux + Web 服务器: Apache
网易：Linux + Web 服务器: Apache
eBay: Windows Server 2003/8 (大量) + Web 服务器：Microsoft IIS
MySpace: Windows Server 2003/8 + Web 服务器：Microsoft IIS

由此可见，开源操作系统做Web应用是首选已经是一个既定事实。在开源操作系统中Linux和FreeBSD差不太多，很难说哪个一定比另外一个要优秀很多、能够全面的超越对手，应该是各有所长。但熟悉Linux的技术人员更多些，利于系统管理、优化等，所以Linux使用更广泛。而Windows Server和IIS虽然有的网站使用，但不开源，而且需要购买微软的一系列应用产品，限制了其使用。总之，开源操作系统，尤其是Linux做Web应用是首选已经是一个既定事实。

常用的系统架构是:
Linux + Apache + PHP + MySQL
Linux + Apache + Java (WebSphere) + Oracle
Windows Server 2003/2008 + IIS + C#/ASP.NET + 数据库

数据库

因为是千万人同时访问的网站，所以一般是有很多个数据库同时工作的，说明白一点就是数据库集群和并发控制，数据分布到地理位置不同的数据中心，以免发生断电事故。

主流的数据库有Sun的是MySQL和Oracle。

Oracle是一款优秀的、广泛采用的商业数据库管理软件。有很强大的功能和安全性，可以处理相对海量的数据。而MySQL是一款非常优秀的开源数据库管理软件，非常适合用多台PC Server组成多点的存储节点阵列(这里我所指的不是MySQL自身提供的集群功能)，每单位的数据存储成本也非常的低廉。用多台PC Server安装MySQL组成一个存储节点阵列，通过MySQL自身的Replication或者应用自身的处理，可以很好的保证容错(允许部分节点失效)，保证应用的健壮性和可靠性。可以这么说，在关系数据库管理系统的选择上，可以考虑应用本身的情况来决定。

MySQL数据库服务器的master-slave模式，利用数据库服务器在主从服务器间进行同步，应用只把数据写到主服务器，而读数据时则根据负载选择一台从服务器或者主服务器来读取，将数据按不同策略划分到不同的服务器（组）上，分散数据库压力。

服务器集群与负载均衡

服务器群集中每个服务结点运行一个所需服务器程序的独立拷贝，而网络负载均衡则将工作负载在这些主机间进行分配。负载均衡建立在现有网络结构之上，它提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。它主要完成以下任务:解决网络拥塞问题，服务就近提供，实现地理位置无关性 ;为用户提供更好的访问质量;提高服务器响应速度;提高服务器及其他资源的利用效率;避免了网络关键部位出现单点失效。

常用的服务器集群和数据库集群负载均衡实现方法：
CitrixNetScaler的硬件负载均衡交换机做服务器集群的负载均衡。
MySQL Proxy做MySQL服务器集群的负载均衡并实现读写分离。其实现读写分离的基本原理是让主数据库处理事务性查询，而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。
CDN(Content Delivery Network): 几乎在各大网站都有使用该技术。例如，使得你的网站在各省市访问更快，其原理是采取了分布式网络缓存结构（即国际上流行的web cache技术），通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的cache服务器内，通过DNS负载均衡的技术，判断用户来源就近访问cache服务器取得所需的内容，解决Internet网络拥塞状况，提高用户访问网站的响应速度，如同提供了多个分布在各地的加速器，以达到快速、可冗余的为多个网站加速的目的。

缓存

众所周知，使用缓存能有效应对大负载，减少数据库的压力，并显著提高**应用程序的性能，如果某个用户多次请求同一资源，则可以从缓存返回该资源，从而避免了重新从服务器或数据库请求该资源而产生的系统开销。缓存可以通过减少获取请求的资源所需的时间，提高应用程序性能。缓存还可以通过减少到服务器的往返次数，降低网络通信量。尽管缓存可以提高性能，但它也增加了返回到应用程序的资源可能变得陈旧的风险。这意味着，返回的资源可能与假设没有使用缓存的情况下，服务器有可能发送的资源并不完全相同(即取得“脏数据”)。

即便如此，简单的缓存策略也能大大提升网站性能。例如，Youtube把首页最新的视频列表缓存60秒，也就是说60秒内并发的request都是从缓存读取的，大大减少了数据库压力。再加上CDN，使得Youtube首页的并发访问速度很快。

单机内存缓存、文件缓存、数据库缓存等的策略都是可以很简单的实现的，例如可以使用微软的Caching Application Block，但如何在集群环境中使多个缓存、**缓存并保存同步是个重大问题。大型网站一般都使用缓存服务器群，并使用**缓存。业内最常用的有：
Squidcache，Squid服务器群，把它作为web服务器端前置cache服务器缓存相关请求来提高web服务器速度。Squid将大部分静态资源(图片，js，css等）缓存起来，直接返回给访问者，减少应用服务器的负载
memcache，memcache服务器群，一款分布式缓存产品，很多大型网站在应用; 它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。因为通常网站应用程序中最耗费时间的任务是数据在数据库的检索，而多个用户查询相同的SQL时，数据库压力会增大，而通过memcache的查询缓存命中，数据直接从memcache内存中取，每次缓存命中将替换到数据库服务器的一次往返，到达数据库服务器的请求更少，间接地提高了数据库服务器的性能，从而使应用程序运行得更快。它通过基于内存缓存对象来减少数据库查询的方式改善网站系统的反应，其最吸引人的一个特性就是支持分布式部署。有关memcache，以下文章可以参考：参考1，参考2，参考3官方站点。
e-Accelerator，比较特殊，PHP的缓存和加速器。是一个免费开源的PHP加速、优化、编译和动态缓存的项目，它可以通过缓存PHP代码编译后的结果来提高PHP脚本的性能，使得一向很复杂和离我们很远的 PHP脚本编译问题完全得到解决。通过使用eAccelerator，可以优化你的PHP代码执行速度，降低服务器负载，可以提高PHP应用执行速度最高达10倍。

独立的图片服务器

无论从管理上，还是从性能上看，只要有可能，尽量部署独立的图片服务器。这几乎成为常识了。具备独立的图片服务器或者服务器集群后，在 Web 服务器上就可以有针对性的进行配置优化。

其他

一个互联网应用，除了服务器的操作系统，Web Server软件，应用服务器软件，数据库软件外，我们还会涉及到一些其他的系统，比如一些中间件系统、文件存储系统（图片服务器，视频服务器，管理服务器，RSS和广告服务器等等）、全文检索、搜索、等等。会在以后介绍。

Most Commented Posts

]]> http://blog.xiongchuan.org/the-design-of-the-big-site.html/feed 7 windows下安装svn服务器和客户端 http://blog.xiongchuan.org/windows-setup-svn-server-client.html http://blog.xiongchuan.org/windows-setup-svn-server-client.html#comments Thu, 26 Nov 2009 16:59:35 +0000 Erick http://www.pigblog.net/?p=478 在家里的电脑上，安装svn，当然今天是突发奇想。
说来也真是见鬼了，subversion的官网竟然进不去了，只有用代理才能进，可是网页代理进了又不能下载。。。，http://subversion.tigris.org/，害得我到处找安装文件，最后还是在csdn上面下载的。
svn-1.5.6-setup.exe
客户端就好下载的多：
TortoiseSVN-1.6.6.17493-win32-svn-1.6.6.msi
LanguagePack_1.6.6.17493-win32-zh_CN.msi

今天不是讲教程，只是写下今天安装的经历。。。
先安装的TortoiseSVN
再安装svn-1.5.6-setup，很简单，在F盘随便建立一个文件夹，SVNprojects\project1，然后通过TortoiseSVN
遇到的第一个问题：
在\project1里面建立版本控制，进入subversion\bin\启动服务，浏览svn，结果报错，什么format 3..format 5之类的，不记得了，有人说这个应该是客户端和服务端兼容的问题，知道原因后，删除project1里面的内容，然后通过subverion\bin\svnadmin.exe 建立版本控制，再启动服务，果然可以正常浏览SVN了

第二个问题：
编辑svnserve.conf这个文件，
去掉[general]，anon-access = none。。。前面的#号后，又报错，原因是这些语句必须顶格写，前面不能有空格。

Most Commented Posts

]]> http://blog.xiongchuan.org/windows-setup-svn-server-client.html/feed 7 Flickr Photo Album for WordPress|wp 相册 http://blog.xiongchuan.org/flickr-photo-album-for-wordpress.html http://blog.xiongchuan.org/flickr-photo-album-for-wordpress.html#comments Thu, 19 Nov 2009 14:32:32 +0000 Erick http://www.pigblog.net/?p=440 这几天突然想弄一个相册，放点图片。决定放Flickr上面，寻觅这样的插件，发现很多人说用Falbum，有很不错的评价，可惜我下载了最新版本，安装了却老有问题，要放弃时，偶然发现了这个插件，觉得挺好用的。Flickr Photo Album for WordPress，可以在sidebar提供照片，可以单独设置一个页面放相册。
讲一下安装吧：
1、当然下载这个zip的插件包，点这里下载
2、在wp后台，添加新插件，上传，激活插件
3、如果你想要单独的页面放相册，那么要开启rewrite，把原来的固定链接改成其它的样子
4444
4、配置photo album
首先是授权，你必须要有一个Flickr的账号，这个自己解决吧，操作也明显。
相片集聚合 这个选项，设置路径，比如我设置的是photos/
5555
下面的按你的想法配置了。

5、为了在导航部分显示一个 相册 的链接我们要添加一个页面。先看效果图：
6666
具体做法如下：
A、左边menu的页面->添加新页面
77
B、标题处写上 相册 二字(当然你可以写其他的)
888
C、点击右上角的 显示选项 在弹出菜单上 选择 页面别名选项 如下图
99999
D、在下面 的页面别名处 填写 photos(和你在photo album的相片集处填写的路径一样)
111111111111
E、保存，完成。
这个时候，在你的博客页面，就可以看到相册的导航了，如果rewrite开启了的话，点击相册，就可以看到photo album上面的内容了，前提是你要有照片。效果：
123456

但是你可能在你的博客里看到的效果和我的不一样，我是指没有排列好，这个是和具体模板有联系的。为了配合当前的模板，你需要修改这个文件。
/wp-content/plugins/tantan-flickr/templates/photoalbum-index.php
这个文件负责人布局，修改的话你要参照当前的模板，比如我现在用的是elegant-box这个主题，我就从这个目录下面找到/wp-content/themes/elegant-boxindex.php文件，参看布局，进行修改具体细节不想讲了，因为现在比较晚了，我要看火影了。针对我这个模板的photoalbum-index.php我放出来，如果有出现某种巧合你也用了这个模板，可以方便的把这个文件拿去覆盖啦。




getDisplayTemplate($photoTemplate));
// uncomment this line to print out the template being used
// echo 'Photo Album Template: '.$tpl;
?>

6、设置sidebar上面的图片
这个很简单，在左边menu->小工具->把Flickr sidebar拖到右边 激活就OK了，你可以选择显示几张，如果你不选择随机显示相片的话，那么 第二栏的 标签对你来说很重要，因为显示的相片是根据你填写的标签，在flickr上你的相册里搜索的，所以呢，要怎么做，你知道了吧。
PS：如果你填写的标签，但是又没有显示出相片来，而你的相册确实是有相片的，并且也加了标签，这个的时候你要做的是，在photo album处刷新相集，清除cache这个选项选上，因为这个插件是有缓存的。

7、尽情享受吧！
这是新手的天堂，高手闪开！

Related Posts

]]> http://blog.xiongchuan.org/flickr-photo-album-for-wordpress.html/feed 2 mysql 查找重复记录 删除重复记录 http://blog.xiongchuan.org/mysql-find-and-delete-duplicate-records.html http://blog.xiongchuan.org/mysql-find-and-delete-duplicate-records.html#comments Tue, 17 Nov 2009 09:14:40 +0000 Erick http://www.pigblog.net/?p=414 几天没更新了，比较懒。
在公司，我重新设计了SP系统，并完全废掉了原系统，我来做新的，现在基本可以投入使用，为了兼容原来的数据，要把旧数据迁移过来，
中途就会有一些重复记录，需要消灭。
所谓重复，那肯定是记录里的某些字段有一样的，根据这个来判断了。
一，查找重复
表person
id int 10
name varchar 20
这样的一个表，根据name来判断重复，我们可以把记录都查找出来
select *,count(*) as total from person group by name order by total desc
group by name 按name进行分组，name一样的记录只显示一条，count(*) as total ，用这个可以看到name一样的记录有多少条,为了直观,order by total desc 把重复记录的排在前面，这样就可以找出这个表里面的重复记录了。
PS：这里是把所有的数据显示出来了，那些total=1的是没有重复的，如果只想要重复的在group by name 后面加having 子句 如下
select *,count(*) as total from person group by name having total>1 order by total desc
这样就只有重复的记录了 当然你的表 肯定 不会这么简单,在group by 前面可以添加where子句

二，删除重复
1.这个是从网上随便找的(改了下，适用上面的那个表)，像我这样的门外汉，还看不明白，来分析下
delete from person where name in (select name from person group by name having count(*) > 1)
and id not in (select min(id) from person group by name having count(*)>1)
name in (select name from person group by name having count(*) > 1) 这一句找出name有重复的所有记录
id not in (select min(id) from person group by name having count(*)>1)这一句找出id不等于这些重复记录的最小id
用and连接起来就是，删除重复记录，且保留id最小的那一条，要不然全删除了
2.还看了个，不用连接来做的，思路是用连接选出除了最小id可是最大id的所有记录，然后删除，具体代码不想找了。
以上的方法虽然说可以实现，但是代码量太大了。。。。。。
3.我用的是下面这种，简单直观
delete a from person a left join person b on a.name=b.name where a.id>b.id
对person做自身连接，找出name一样的记录,附加条件是a.id>b.id这样就把重复记录里面id最小的值保留下来了

后记：留给新手，老手一边玩去！
非常感谢网友 chopper 的发问，在上面第三种方法删除重复语句的时候，少写了一个字母，否则有语法错误

Related Posts

]]> http://blog.xiongchuan.org/mysql-find-and-delete-duplicate-records.html/feed 5