标签：浮点数 文件描述符 文件读取 取数 for 网络流 读取数据 参数 store
IO在计算机中指Input/Output，也就是输入和输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。从磁盘读取文件到内存，就只有Input操作，反过来，把数据写到磁盘文件里，就只是一个Output操作。
由于CPU和内存的速度远远高于外设的速度，所以，在IO编程中，就存在速度严重不匹配的问题。举个例子来说，比如要把100M的数据写入磁盘，CPU输出100M的数据只需要0.01秒，可是磁盘要接收这100M数据可能需要10秒，怎么办呢？有两种办法：
第一种是CPU等着，也就是程序暂停执行后续代码，等100M的数据在10秒后写入磁盘，再接着往下执行，这种模式称为同步IO；
另一种方法是CPU不等待，只是告诉磁盘，“您老慢慢写，不着急，我接着干别的事去了”，于是，后续代码可以立刻接着执行，这种模式称为异步IO。
同步和异步的区别就在于是否等待IO执行的结果。异步IO来编写程序性能会远远高于同步IO，但是异步IO的缺点是编程模型复杂
读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。
函数open() 接受一个参数：要打开的文件的名称。Python在当前执行的文件所在的目录中查找指定的文件，函数open() 返回一个表示文件的对象。在这里，open(‘pi_digits.txt‘) 返回一个表示文件pi_digits.txt 的对象；Python将这个对象存储在我们将在后面使用的变量中。
关键字with 在不再需要访问文件后将其关闭。
PS:在这个程序中，注意到我们调用了open() ，但没有调用close() ；调用open() 和close() 来打开和关闭文件，如果程序存在bug，导致close() 语句未执行，文件将不会关闭。未妥善地关闭文件可能会导致数据丢失或受损。如果在程序中过早地调用close() ，需要使用文件时它已关闭（无法访问），会导致更多的错误。通过使用前面所示的结构，可让Python去确定：你只管打开文件，并在需要时使用它，Python自会在合适的时候自动将其关闭。
函数read() 读取这个文件的全部内容，并将其作为一个长长的字符串存储在变量contents中。这样，通过打印contents 的值，就可将这个文本文件的全部内容显示出来。相比于原始文件，该输出不同的地方是末尾多了一个空行。read() 到达文件末尾时返回一个空字符串，而将这个空字符串显示出来时就是一个空行。要删除多出来的空行，可在print 语句中使用rstrip() ：
调用read()会一次性读取文件的全部内容，如果文件有10G，内存就爆了，所以，要保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容。另外，调用readline()可以每次读取一行内容，调用readlines()一次读取所有内容并按行返回list。因此，要根据需要决定怎么调用。
如果文件很小，read()一次性读取最方便；如果不能确定文件大小，反复调用read(size)比较保险；如果是配置文件，调用readlines()最方便：
open()函数返回的这种有个read()方法的对象，在Python中统称为file-like Object。除了file外，还可以是内存的字节流，网络流，自定义流等等。file-like Object不要求从特定类继承，只要写个read()方法就行。StringIO就是在内存中创建的file-like Object，常用作临时缓冲。‘rb‘模式打开文件即可：open()函数传入encoding参数，例如，读取GBK编码的文件： 遇到有些编码不规范的文件，你可能会遇到UnicodeDecodeError，因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况，open()函数还接收一个errors参数，表示如果遇到编码错误后如何处理。最简单的方式是直接忽略：
在Windows系统中，在文件路径中使用反斜杠（\ ）而不是斜杠（/ ）：
在相对文件路径行不通时，可使用绝对文件路径，绝对路径通常比相对路径更长，因此将其存储在一个变量中，再将该变量传递给open() 会有所帮助。在Linux和OS X中，绝对路径类似于下面这样：
在Windows系统中，它们类似于下面这样：
通过使用绝对路径，可读取系统任何地方的文件。就目前而言，最简单的做法是，要么将数据文件存储在程序文件所在的目录，要么将其存储在程序文件所在目录下的一个文件夹（如text_files）中。
在这个文件中，每行的末尾都有一个看不见的换行符，而print 语句也会加上一个换行符，因此每行末尾都有两个换行符：一个来自文件，另一个来自print 语句。
要消除这些多余的空白行，可在print 语句中使用rstrip() ：
要将文本写入文件，你在调用open() 时需要提供另一个实参，告诉Python你要写入打开的文件。传入标识符‘w‘或者‘wb‘表示写文本文件或写二进制文件：
第一个实参也是要打开的文件的名称；第二个实参（‘w‘ ）告诉Python，我们要以写入模式 打开这个文件。打开文件时，可指定读取模式 （‘r‘ ）、写入模式 （‘w‘ ）、附加模式 （‘a‘ ）或让你能够读取和写入文件的模式（‘r+‘ ）。如果省略了模式实参，Python将以默认的只读模式打开文件。
StringIO
很多时候，数据读写不一定是文件，也可以在内存中读写。StringIO顾名思义就是在内存中读写str。要把str写入StringIO，我们需要先创建一个StringIO，然后，像文件一样写入即可：
getvalue()方法用于获得写入后的str。
要读取StringIO，可以用一个str初始化StringIO，然后，像读文件一样读取：
BytesIO
StringIO操作的只能是str，如果要操作二进制数据，就需要使用BytesIO。BytesIO实现了在内存中读写bytes，我们创建一个BytesIO，然后写入一些bytes： 写入的不是str，而是经过UTF-8编码的bytes。
小结：StringIO和BytesIO是在内存中操作str和bytes的方法，使得和读写文件具有一致的接口。
三、操作文件和目录
操作文件和目录的函数一部分放在os模块中，一部分放在os.path模块中，这一点要注意一下。查看、创建和删除目录可以这么调用：
os.path.join()函数，这样可以正确处理不同操作系统的路径分隔符。在Linux/Unix/Mac下，os.path.join()返回这样的字符串：os.path.split()函数，这样可以把一个路径拆分为两部分，后一部分总是最后级别的目录或文件名：
os.path.splitext()可以直接让你得到文件扩展名，很多时候非常方便：
这些合并、拆分路径的函数并不要求目录和文件要真实存在，它们只对字符串进行操作。文件操作使用下面的函数。假定当前目录下有一个test.txt文件：
复制文件的函数在os模块中不存在！原因是复制文件并非由操作系统提供的系统调用。但是shutil模块提供了copyfile()的函数，你还可以在shutil模块中找到很多实用函数，它们可以看做是os模块的补充。
.py文件，也只需一行代码：
变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling。Python提供了pickle模块来实现序列化。
把一个对象序列化并写入文件：
bytes，然后用pickle.loads()方法反序列化出对象
Python内置的json模块提供了非常完善的Python对象到JSON格式的转换
JSON表示的对象就是标准的JavaScript语言的对象，JSON和Python内置的数据类型对应如下：
| JSON | Python |
| {} | dict |
| [] | list |
| "string" | str |
| 1234.56 | int或float |
| true/false | True/False |
| null | None |
json模块提供了非常完善的Python对象到JSON格式的转换。我们先看看如何把Python对象变成一个JSON，
json.dumps()提供了一个ensure_ascii参数
Python之IO编程——文件读写、StringIO/BytesIO、操作文件和目录、序列化
标签：浮点数 文件描述符 文件读取 取数 for 网络流 读取数据 参数 store
原文地址：https://www.cnblogs.com/sundahua/p/9937227.html
