码迷,mamicode.com
首页 > 编程语言 > 详细

(转)Python中的模块循环导入问题

时间:2017-11-01 14:51:02      阅读:279      评论:0      收藏:0      [点我收藏+]

标签:就会   href   编译   none   python   google   glob   exist   bsp   

 

本文转自: https://wiki.woodpecker.org.cn/moin/MiscItems/2008-11-25

问题

 cleven <shenglipang@gmail.com>

回覆至     python-cn@googlegroups.com
收件人     python-cn@googlegroups.com
日期      2008年11月25日 下午 12:01
主旨      [CPyUG:72341] import嵌套的问题

看了《Python源码剖析》,里面提到的嵌套import的问题还是没有弄明白,各位给看一下吧。

[A.py]
from B import D
class C:pass

[B.py]
from A import C
class D:pass

为什么执行A的时候不能加载D呢?

如果将A.py改为:import B就可以了。

这是怎么回事呢?

 

Robert Chen:详解

 

Robert Chen <search.pythoner@gmail.com>
回覆至     python-cn@googlegroups.com
收件人     python-cn@googlegroups.com
日期      2008年11月25日 下午 1:41
主旨      [CPyUG:72362] Re: import嵌套的问题

恩,这跟Python内部import的机制是有关的,具体到from B import D,Python内部会分成几个步骤:

  1. 在sys.modules中查找符号"B"
  2. 如果符号B存在,则获得符号B对应的module对象<module B>

    • 从<module B>的__dict__中获得符号"D"对应的对象,如果"D"不存在,则抛出异常

  3. 如果符号B不存在,则创建一个新的module对象<module B>,注意,这时,module对象的__dict__为空

    • 执行B.py中的表达式,填充<module B>的__dict__

    • 从<module B>的__dict__中获得"D"对应的对象,如果"D"不存在,则抛出异常

所以,这个例子的执行顺序如下:

1、执行A.py中的from B import D
    由于是执行的python A.py,所以在sys.modules中并没有<module B>存在,
    首先为B.py创建一个module对象(<module B>),
      注意,这时创建的这个module对象是空的,里边啥也没有,
    在Python内部创建了这个module对象之后,就会解析执行B.py,其目的是填充<module B>这个dict。

2、执行B.py中的from A import C
    在执行B.py的过程中,会碰到这一句,
    首先检查sys.modules这个module缓存中是否已经存在<module A>了,
    由于这时缓存还没有缓存<module A>,
    所以类似的,Python内部会为A.py创建一个module对象(<module A>),
    然后,同样地,执行A.py中的语句

3、再次执行A.py中的from B import D
    这时,由于在第1步时,创建的<module B>对象已经缓存在了sys.modules中,
    所以直接就得到了<module B>,
    但是,注意,从整个过程来看,我们知道,这时<module B>还是一个空的对象,里面啥也没有,
    所以从这个module中获得符号"D"的操作就会抛出异常。
    如果这里只是import B,由于"B"这个符号在sys.modules中已经存在,所以是不会抛出异常的。

 

ZQ:图解

技术分享

 

编译追踪

hiter的日记:

问题代码如下:

A.py
from A import B
class B(object):pass
>>> import A
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/john/pythonstudy/mypython/bin/A.py", line 9, in <module>
    from A import B
ImportError: cannot import name B
>>>

阅读代码后发现: 字节码大概

9           0 LOAD_CONST               0 (-1)
              3 LOAD_CONST               1 ((‘B‘,))
              6 IMPORT_NAME              0 (A)     
              9 IMPORT_FROM              1 (B)
             12 STORE_NAME               1 (B)
             15 POP_TOP

 10          16 LOAD_CONST               2 (‘B‘)
             19 LOAD_NAME                2 (object)
             22 BUILD_TUPLE              1
             25 LOAD_CONST               3 (<code object B at 0xb7a1fa88, file "A.py", line 10>)
             28 MAKE_FUNCTION            0
             31 CALL_FUNCTION            0
             34 BUILD_CLASS
             35 STORE_NAME               1 (B)

 12          38 LOAD_CONST               4 (‘hi‘)
             41 PRINT_ITEM
             42 PRINT_NEWLINE
             43 LOAD_CONST               5 (None)
             46 RETURN_VALUE
  • 可以看出整个import的过程是:先import A,然后再import A然后报错。
  • 经过分析发现原因是:在import A时,虚拟机发现sys.modules(在import_submodule中会做检查)中没有加载过A,然后新建了一个A的module,新建的module是空的,需要向里面加入__builtin__,__file__等属性(在执行下一个import的时候,新module的dict将作为globals(locals)传给执行(A)字节码时使用),然后虚拟机会将这个新的module加入sys.modules中,至此虚拟机的调用堆栈如下:(代码行号可能不对,因为源码中加入了很多调试输出代码)

 

#0  PyImport_AddModule (name=0xbfd91673 "A") at Python/import.c:617                                                            <-------PyImport_AddModule 在这里
#1  0x08106271 in PyImport_ExecCodeModuleEx (name=0xbfd91673 "A", co=0xb7da6748, pathname=0xbfd8f533 "A.pyc") at Python/import.c:653
#2  0x08106c67 in load_source_module (name=0xbfd91673 "A", pathname=0xbfd8f533 "A.pyc", fp=0x821bd60) at Python/import.c:963
#3  0x081085cf in load_module (name=0xbfd91673 "A", fp=0x821bd60, buf=0xbfd905d3 "A.py", type=1, loader=0x0) at Python/import.c:1753
#4  0x0810a39b in import_submodule (mod=0x818c888, subname=0xbfd91673 "A", fullname=0xbfd91673 "A") at Python/import.c:2433    <--------import_submodule 在这里
#5  0x081098bb in load_next (mod=0x818c888, altmod=0x818c888, p_name=0xbfd91654, buf=0xbfd91673 "A", p_buflen=0xbfd9166c)
    at Python/import.c:2234
#6  0x08108e1c in import_module_level (name=0x0, globals=0xb7de82b4, locals=0xb7de82b4, fromlist=0x818c888, level=-1) at Python/import.c:2005
#7  0x081093a1 in PyImport_ImportModuleLevel (name=0xb7de115c "A", globals=0xb7de82b4, locals=0xb7de82b4, fromlist=0x818c888, level=-1)
    at Python/import.c:2076
#8  0x080d8809 in builtin___import__ (self=0x0, args=0xb7d9de34, kwds=0x0) at Python/bltinmodule.c:47
#9  0x0814d04b in PyCFunction_Call (func=0xb7dcf5ac, arg=0xb7d9de34, kw=0x0) at Objects/methodobject.c:77
#10 0x08062974 in PyObject_Call (func=0xb7dcf5ac, arg=0xb7d9de34, kw=0x0) at Objects/abstract.c:1861
#11 0x080ecad2 in PyEval_CallObjectWithKeywords (func=0xb7dcf5ac, arg=0xb7d9de34, kw=0x0) at Python/ceval.c:3446
#12 0x080e7b33 in PyEval_EvalFrameEx (f=0x821bc04, throwflag=0) at Python/ceval.c:2068
#13 0x080eaf9e in PyEval_EvalCodeEx (co=0xb7d9ab08, globals=0xb7de82b4, locals=0xb7de82b4, args=0x0, argcount=0, kws=0x0, kwcount=0,
    defs=0x0, defcount=0, closure=0x0) at Python/ceval.c:2840
#14 0x080e013e in PyEval_EvalCode (co=0xb7d9ab08, globals=0xb7de82b4, locals=0xb7de82b4) at Python/ceval.c:494
#15 0x08116ab0 in run_mod (mod=0x8220378, filename=0x81653bb "<stdin>", globals=0xb7de82b4, locals=0xb7de82b4, flags=0xbfd92f70,
    arena=0x81c5cd8) at Python/pythonrun.c:1273
#16 0x081151e1 in PyRun_InteractiveOneFlags (fp=0xb7f4d440, filename=0x81653bb "<stdin>", flags=0xbfd92f70) at Python/pythonrun.c:792
#17 0x08114e54 in PyRun_InteractiveLoopFlags (fp=0xb7f4d440, filename=0x81653bb "<stdin>", flags=0xbfd92f70) at Python/pythonrun.c:723
#18 0x08114cac in PyRun_AnyFileExFlags (fp=0xb7f4d440, filename=0x81653bb "<stdin>", closeit=0, flags=0xbfd92f70) at Python/pythonrun.c:692
#19 0x08059d60 in Py_Main (argc=1, argv=0xbfd93074) at Modules/main.c:523
#20 0x08058e26 in main (argc=136033156, argv=0xb7dc37b4) at ./Modules/python.c:23
  • 可以新建module并将其加入sys.modules是在函数PyImport_ExecCodeModuleEx中完成的,此后,就会将新module的dict作为locals(globals)传给执行A字节码的函数,在执行A字节码时,发现需要IMPORT_NAME A,这时虚拟机会发现在sys.modules中已经存在A,所以会直接返回这个A的module,而在接下来的IMPORT_FROM时,会从这个module中试图找到B,而此时这个module里虚拟机只加载了__builtin__,__file__等属性,加载B的字节码还没执行到(也不可能执行到),所以虚拟机就会抛出无法加载B的异常。

  • 在<python源码剖析>前言中提到这样一个问题:

 

 [A.py]
from B import D
class C:
    pass
[B.py]
from A import C
class D:
    pass

这里无法加载D,这个问题是和本文一开始提出的问题相似的。

 

总结:

IMPORT_NAME字节码命令的执行流程如
  1. 假设需要import A,那么虚拟机首先在sys.modules中查找是否已经load过A,
  2. 找到则返回该对象,命令结束;
  3. 如果没有找到,那么虚拟机会新建一个module对象,
  4. 然后向module对象中添加必要的属性(builtin等),

  5. 然后用这个module中的dict作为globals(locals)执行A,
  6. 然后返回

(转)Python中的模块循环导入问题

标签:就会   href   编译   none   python   google   glob   exist   bsp   

原文地址:http://www.cnblogs.com/MnCu8261/p/7766026.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!