标签：toolbar add 技术分享 实现 nop 分布 options 企业 format
一，简单问题复杂化：
100公里/1小时的速度，在日常生活中是比较常见的速度，把它转换为其它单位：
100公里/1小时 ≈ 28米/1秒
100公里/1小时 ≈ 2800厘米/秒
如果想要无人驾驶汽车达到厘米级的位移监测。探测器扫描路况时，每秒上传2800次数据给PC机。若一辆汽车有10个探测器，就意味着每秒的并发量为2.8W次/秒。
2.8W次/秒的并发量，在网站上肯定会采用分布式，缓存，读写分离，集群技术，关键还有这个数据的存储，到底用二维数据库，还是用NOSQL。这些问题是不是让你很头痛？
二，复杂问题简单化：
1个监测器对应1个线程，10个监测器对应10个线程。假设10个线程同时往数据库里写数据，显然不是一个明智的做法。
假设，开启一个Cache，10个线程同时往Cache里写数据。这儿要注意线程同步，内存溢出问题。
另外开启一个监控Cache的线程，这个线程主要三件事，1，监测Cache的数据变化，2，过虑Cache的冗余数据，3，持久化Cache数据到存储介质。用个示意图表示一下：
三，万物归一
百川归海，万物归一。看过我“100行代码实现了多线程，批量写入，文件分块的日志方法”这篇博客的园友。与我这个“C#版的无人驾驶汽车（附源码）”的 应用场景是不是十分相似？
两图对比，是不是对象都相同：
多个监测器上传数据 <--> 多个线程写日志
Cache <--> 日志对列
Cache监控线程 <--> 批量持久化日志线程
数据库垂直水平分库 <--> 日志分块
四，实践总结理论：
两篇博客的核心都只有一个，“多线程巧妙转换为单线程”，只是应用的场景不同。
一个应用于日志，一个应用于无人驾驶汽车。应用不同，本质相同，只要掌握了本质，万变不离其中。
在和企业谈工资的时候，要工资低些，可以说我会写日志的方法。
在和企业谈工资的时候，要工资高些，可以说做过C#版的无人驾驶汽车项目。
想低就低，想高就高，万物变化，大地沉浮，随心所欲。
五，源码实现：
其实这段源码，就是从上篇博客拷贝过来的，只是做了信号量的优化。方法名，类名一修改，可以应用到很多场景，万能的方法，万能的类。
public class IOExtention
{
static ConcurrentQueue<Tuple<string, string>> logQueue = new ConcurrentQueue<Tuple<string, string>>();
static Task writeTask = default(Task);
static ManualResetEvent pause = new ManualResetEvent(false);
//Mutex mmm = new Mutex();
static IOExtention()
{
writeTask = new Task((object obj) =>
{
while (true)
{
pause.WaitOne();
pause.Reset();
List<string[]> temp = new List<string[]>();
foreach (var logItem in logQueue)
{
string logPath = logItem.Item1;
string logMergeContent = String.Concat(logItem.Item2, Environment.NewLine, "-----------------------------------------------------------", Environment.NewLine);
string[] logArr = temp.FirstOrDefault(d => d[0].Equals(logPath));
if (logArr != null)
{
logArr[1] = string.Concat(logArr[1], logMergeContent);
}
else
{
logArr = new string[] { logPath, logMergeContent };
temp.Add(logArr);
}
Tuple<string, string> val = default(Tuple<string, string>);
logQueue.TryDequeue(out val);
}
foreach (string[] item in temp)
{
WriteText(item[0], item[1]);
}
}
}
, null
, TaskCreationOptions.LongRunning);
writeTask.Start();
}
public static void WriteLog(String preFile, String infoData)
{
WriteLog(string.Empty, preFile, infoData);
}
public static void WriteLog(String customDirectory, String preFile, String infoData)
{
string logPath = GetLogPath(customDirectory, preFile);
string logContent = String.Concat(DateTime.Now, " ", infoData);
logQueue.Enqueue(new Tuple<string, string>(logPath, logContent));
pause.Set();
}
private static string GetLogPath(String customDirectory, String preFile)
{
string newFilePath = string.Empty;
String logDir = string.IsNullOrEmpty(customDirectory) ? Path.Combine(Environment.CurrentDirectory, "logs") : customDirectory;
if (!Directory.Exists(logDir))
{
Directory.CreateDirectory(logDir);
}
string extension = ".log";
string fileNameNotExt = String.Concat(preFile, DateTime.Now.ToString("yyyyMMdd"));
String fileName = String.Concat(fileNameNotExt, extension);
string fileNamePattern = string.Concat(fileNameNotExt, "(*)", extension);
List<string> filePaths = Directory.GetFiles(logDir, fileNamePattern, SearchOption.TopDirectoryOnly).ToList();
if (filePaths.Count > 0)
{
int fileMaxLen = filePaths.Max(d => d.Length);
string lastFilePath = filePaths.Where(d => d.Length == fileMaxLen).OrderByDescending(d => d).FirstOrDefault();
if (new FileInfo(lastFilePath).Length > 1 * 1024 * 1024 * 1024)
{
string no = new Regex(@"(?is)(?<=\()(.*)(?=\))").Match(Path.GetFileName(lastFilePath)).Value;
int tempno = 0;
bool parse = int.TryParse(no, out tempno);
string formatno = String.Format("({0})", parse ? (tempno + 1) : tempno);
string newFileName = String.Concat(fileNameNotExt, formatno, extension);
newFilePath = Path.Combine(logDir, newFileName);
}
else
{
newFilePath = lastFilePath;
}
}
else
{
string newFileName = String.Concat(fileNameNotExt, String.Format("({0})", 0), extension);
newFilePath = Path.Combine(logDir, newFileName);
}
return newFilePath;
}
private static void WriteText(string logPath, string logContent)
{
try
{
if (!File.Exists(logPath))
{
File.CreateText(logPath).Close();
}
StreamWriter sw = File.AppendText(logPath);
sw.Write(logContent);
sw.Close();
}
catch (Exception ex)
{
}
finally
{
}
}
}
标签：toolbar add 技术分享 实现 nop 分布 options 企业 format
原文地址：http://www.cnblogs.com/123wang/p/6263024.html
