标签:
2012年3月份进入了一家做网站的公司实习,一个月八百,第一天去报道,领导问了一下想做什么,其实当时也没有什么特别的想法,说按照公司的安排来吧,完了之后领导说,最近也没什么事,你就帮忙把公司的网线布置规划一下,现在的网线太乱了,说完之后,找了一些要用的工具就开始干自己的事情了,没人管一个人干,整整的一整天都自己一个人,在干活的过程中,因为会涉及到一些同事网线的替换断网是少不了的了,要断谁的网,跟谁打招呼,活是干完了,人也认识全了,知道谁在那里坐,谁叫什么名字,是负责那部分的,网线布置好了,用了两天时间干完了活,熟悉了所有的人。接下来领到了自己的PC机,搭建开发环境,因为公司是做PHP的以前没接触过,所以就请教了一下旁边的同事,基础搭建就是要能运行PHP的基本环境同事建议XAMPP和公司的代码版本控制SVN客户端以及自己习惯的编辑工具、同事推荐了notepad++,插件多灵活,按照同事推荐的把环境搭建好了之后,由于公司做的是欧美的项目用的drupal,所以需要熟悉使用方法,大约有一个月的时间我都在和drupal做交互各种的熟悉,考核的时候是用drupal做一个自己的博客系统,考核还算顺利。之后可以做一些基本的事情了,网站上有很多图片需要修改,很简单的事情,PL看我也没什么事就把这个任务交给我了,我就成了做PS的了,开玩笑的说就是专业修图片的,其实就是一些大小的问题,大概用了三周的时间把网站上的图片全部处理了一次,也没有感到枯燥乏味,但是在这个过程中我有时候会被拉过去开会,和客户开会说英语,这是要我的命呀,但是没办法硬着头皮听呗,没办法下了班就恶补英语还好补救及时,在第三次的时候能听懂客户说什么了。就这样日子过到了五月底我接触了另一个框架Wordpress,这是另一个项目,但是一个二次开发我完全跟不上老员工的节奏,各种jquery脚本在前台,虽然以前在学校学过,但在工作中还是很难接受那种强度和压力,还好挺过了最难的那一段时间,项目接近尾声了,我的开发量不大全部移交给和我一块的同事算是我师父吧,现在想想那也是很美好的时光。在九月底我提交了辞职信,一个人去了北京,那是我第一次一个人离开西安去外地开始了我的北漂生活。
2012年的10月17号我一个人站在北京西站,当时的北京西站还不通地铁,需要坐公交换乘,我就一个人莫名的来到了上地,在北京体育大学旁边租了一个床位,开始找工作,很顺利的找到了一份工作,做的是linux下的C开发,主要做的是网络爬虫,接触了socket通信,我们当时的目标网站有十个,我的任务就是和这十个目标网站的web服务器通信获取网页内容和网页中的超链接url,在稳定运行7*24小时的基础上,实现优雅抓取,就是不要被目标网站发现这个浏览是程序进行的,不是人通过浏览器操作的,有些网站很难采集,例如:百度知道、新浪爱问等,采集过于频繁就会出现30X的跳转,需要输入一些信息,我记得最清楚的就是百度需要输入验证码,因为这个问题我和同事的处理意见不一致,而且争论了很久,最后的方案是两个方案同时进行。第一个方案是通过程序读取验证码,把读取到的验证码提交web服务器,再次获取数据。第二个方案是给我们的程序加入cookies机制,因为我发现百度在发验证码之前已经发了一次cookies过来用来试探程序,所以我把这些信息在返回给web服务器就可以了。最后我们使用了第二种方案。因为提出第一种方案的同事没有实现自己所设计的程序,而第二种方案同时解决了好几个目标网站的这种问题。在此之后,我用程序实现了模拟百度、知呼、新浪的登陆功能,与此同时接触了ssl的开发,因为登录的过程会用到https,后来爬虫实现了30*24小时无事故,同时采集的数据量也达到了单机日访问次数80w,有限数据占97%的目标。在维护爬虫的同时,做了排重服务器,当然是在师父的指导下,我用了一个月的时间完成了服务框架的搭建和传输过程中的数据解析,保证和排重服务器通信时异常,但是在数据的保存上,遇到了一个问题,像这种数据怎么存储,因为这些数据最终还是需要浏览的,于是web的同事提出用mysql数据库操作,一个网页的信息要用5到6条插入语句才能处理完成影响效率,但是也没有其它的方案,那就先这样实现吧,就开始了sql语句的拼接,用了一周时间实现,但是不出所料效率底下,同时数据存储到300w的时候数据库崩了,不得已,寻找新的处理方法,我们看准的mongodb,一种非关系型数据库,数据导入提升了好几倍,就这样我们的任务顺利完成了,在开发排重服务器的过程中接触了二叉树,也许这不是最好保存排重数据的方式,但我们采用了这种方式。后来再看吴军博士的数学之美一书中很受启发。这已经是2013年的深秋九月了,我们放了二十几天的假,我回了西安,在朋友的介绍下我在西安找到了一份和北京待遇差不多的工作,十月份我去北京办了离职手续,回到了西安结束了北漂生活。
2013年10月27号我去公司报道,告诉我C开发的人满了,我被调剂到.net开发了,还是做服务端的数据处理和入库。但是先做一下界面,我又成了美工了,而且公司不允许上网,这可难为死我了,做网站的没有外网素材很难找呀,经历过的人会懂得,一周的时间我就艰难的做了几个界面,后来说是要熟悉业务就被派出去出差了,这是我第一次出差,还是很好奇的,给美丽的济南送去了温暖,我们回来了,了解了我们公司的业务是热计量,这在我看来是一个新名词,因为它不像西安的取暖费是按照面积收费的,他们的收费方式有点像我们用电一样,同时了解了我们现在的这套软件的功能和架构,第一次接触了.net 开发,了解了OSGI.NET 的思想和插件式开发同时学习了iopenworks的开发模式,与此同时公司有一个以前的软件,是智能农业的项目但是没有实现多线程操作,我的任务就是将拍照、灌溉、土壤数据的存储放在一个程序中处理,因此诞生了我的第一个界面程序:
不能使用运行时截图,是因为在之前的web和程序通信采用消息队列的形式实现,而我本地没有对应的消息队列。此程序的功能实现定时拍照和土壤数据的上报入库,通过web端下发的命令执行灌溉操作和时间控制等。
过完春节公司突然宣布西安分部要回总部了,搬到烟台,我离开了,2014年的3月份,同时3月底我入职了现在向所在的公司。
标签:
原文地址:http://www.cnblogs.com/stlong/p/4237826.html