django源码简析——后台程序入口

  这一年一直在用云笔记,平时记录一些tips或者问题很方便,所以也就不再用博客进行记录,还是想把最近学习到的一些东西和大家作以分享,也能够对自己做一个总结。工作中主要基于django框架,进行项目的开发,我是主要做后台相关比较多一些,熟悉django的同学知道,django的后台进程通常通过下面这种方式运行:

python manage.py app [options]

  我们假设当前的项目名为myproject,这里app表示要运行的app名称,具体为django项目中module/management/commands中定义的进程文件名,options表示一些可选的参数。以python manage app为例,看下它的运行原理。manage.py是在项目创建之后,自动生成的一个py文件,它的定义如下:

if __name__ == "__main__":os.environ.setdefault("DJANGO_SETTINGS_MODULE", "myproject.settings")from django.core.management import execute_from_command_lineexecute_from_command_line(sys.argv)

  execute_from_command_line 方法用于读取命令行参数,并执行相应的app程序代码:

def execute_from_command_line(argv=None):"""A simple method that runs a ManagementUtility."""utility = ManagementUtility(argv)utility.execute()

  从这里可以看出,实际上app程序是通过 ManagementUtility.execute() 方法来执行的。execute方法定义在django.core.manage.__init__.py中:

def execute(self):try:subcommand = self.argv[1]except IndexError:subcommand = 'help'  # Display help if no arguments were given.
parser = CommandParser(None, usage="%(prog)s subcommand [options] [args]", add_help=False)parser.add_argument('--settings')parser.add_argument('--pythonpath')parser.add_argument('args', nargs='*')  # catch-alltry:options, args = parser.parse_known_args(self.argv[2:])handle_default_options(options)except CommandError:pass  # Ignore any option errors at this point.
no_settings_commands = ['help', 'version', '--help', '--version', '-h','compilemessages', 'makemessages','startapp', 'startproject',]try:settings.INSTALLED_APPSexcept ImproperlyConfigured as exc:self.settings_exception = excif subcommand in no_settings_commands:settings.configure()if settings.configured:if subcommand == 'runserver' and '--noreload' not in self.argv:try:autoreload.check_errors(django.setup)()except Exception:passelse:django.setup()self.autocomplete()if subcommand == 'help':if '--commands' in args:sys.stdout.write(self.main_help_text(commands_only=True) + '\n')elif len(options.args) < 1:sys.stdout.write(self.main_help_text() + '\n')else:self.fetch_command(options.args[0]).print_help(self.prog_name, options.args[0])elif subcommand == 'version' or self.argv[1:] == ['--version']:sys.stdout.write(django.get_version() + '\n')elif self.argv[1:] in (['--help'], ['-h']):sys.stdout.write(self.main_help_text() + '\n')else:self.fetch_command(subcommand).run_from_argv(self.argv)

  我们来分解一下这段程序,subcommnad是python manage.py后的参数,即子程序名,argv[0]表示manage.py。这里如果没有指定,那么子程序默认为help。接着通过CommandParser来解析随后的参数,app子程序名之后的参数,这里我们默认没有其他参数。接着在try语句中执行 settings.INSTALLED_APPS,这句乍看上去很是不解,没有赋值,没有输出,注意settings是django.conf.__init__.py中定义的一个LazySettings对象,LazySettings继承自LazyObject类,它重写了__getattr__和__setattr__方法,那么在调用settings.INSTALLED_APPS时,会通过其自定义的__getattr__方法实现:

settings = LazySettings()# django.conf.__init__.py
class LazySettings(LazyObject):# other functions ...def _setup(self, name=None):settings_module = os.environ.get(ENVIRONMENT_VARIABLE)if not settings_module:desc = ("setting %s" % name) if name else "settings"raise ImproperlyConfigured("Requested %s, but settings are not configured. You must either define the environment variable %s or call settings.configure() before accessing settings."% (desc, ENVIRONMENT_VARIABLE))self._wrapped = Settings(settings_module)def __getattr__(self, name):if self._wrapped is empty:self._setup(name)return getattr(self._wrapped, name)# other functions ...

  _setup方法从当前环境变量中获取ENVIRONMENT_VARIABLE("DJANGO_SETTINGS_MODULE"),这个值在manage.py文件中已经定义:

os.environ.setdefault("DJANGO_SETTINGS_MODULE", "my_project.settings")

  通过getter/setter方法,对settings对象的操作转到其私有成员self._wrapped对象的调用上,这里在第一次使用settings对象时,将其私有成员self._wrapped初始化为Settings类实例,其构造函数如下:

# django.conf.__init__.py

class Settings(BaseSettings):def __init__(self, settings_module):# update this dict from global settings (but only for ALL_CAPS settings)for setting in dir(global_settings):if setting.isupper():setattr(self, setting, getattr(global_settings, setting))# store the settings module in case someone later caresself.SETTINGS_MODULE = settings_modulemod = importlib.import_module(self.SETTINGS_MODULE)tuple_settings = ("ALLOWED_INCLUDE_ROOTS","INSTALLED_APPS","TEMPLATE_DIRS","LOCALE_PATHS",)self._explicit_settings = set()for setting in dir(mod):if setting.isupper():setting_value = getattr(mod, setting)if (setting in tuple_settings andisinstance(setting_value, six.string_types)):raise ImproperlyConfigured("The %s setting must be a tuple. Please fix your settings." % setting)setattr(self, setting, setting_value)self._explicit_settings.add(setting)if not self.SECRET_KEY:raise ImproperlyConfigured("The SECRET_KEY setting must not be empty.")if ('django.contrib.auth.middleware.AuthenticationMiddleware' in self.MIDDLEWARE_CLASSES and'django.contrib.auth.middleware.SessionAuthenticationMiddleware' not in self.MIDDLEWARE_CLASSES):warnings.warn("Session verification will become mandatory in Django 1.10. Please add 'django.contrib.auth.middleware.SessionAuthenticationMiddleware' ""to your MIDDLEWARE_CLASSES setting when you are ready to opt-in after reading the upgrade considerations in the 1.8 release notes.",RemovedInDjango110Warning)if hasattr(time, 'tzset') and self.TIME_ZONE:zoneinfo_root = '/usr/share/zoneinfo'if (os.path.exists(zoneinfo_root) and notos.path.exists(os.path.join(zoneinfo_root, *(self.TIME_ZONE.split('/'))))):raise ValueError("Incorrect timezone setting: %s" % self.TIME_ZONE)os.environ['TZ'] = self.TIME_ZONEtime.tzset()# other functions ...

  这里传递给settings_module的参数值为my_project.settings,构造函数会先通过global_settings来设置其属性,接着读取my_project.settings,设置其特定的属性,主要有ALLOWED_INCLUDE_ROOTS、INSTALLED_APPS、TEMPLATE_DIRS、LOCALE_PATHS这几个key,这几个key的解释如下:

  • ALLOWED_INCLUDE_ROOTS, 默认值为 () (即空元组,在global_settings中),它表示嵌入文件根路径的字符串——只有在某字符串存在于该元组的情况下,Django的 {% ssi %} 模板标签才会嵌入以其为前缀的文件。 这样做是出于安全考虑,从而使模板作者不能访问到他们不该访问的文件。
  • INSTALLED_APPS,默认同样为空元组,它表示项目中哪些 app 处于激活状态。元组中的字符串,除了django默认自带的命令之外,就是我们自己定义的app,也就是用python manage.py所启动的app了。
  • TEMPLATE_DIRS,默认同样为空元组,它表示模板文件的处处路径。
  • LOCALE_PATHS,默认同样为空元组,它表示Django将在这些路径中查找包含实际翻译文件的<locale_code>/LC_MESSAGES目录

  代码中使用了importlib.import_module这个方法,它支持程序动态引入以'.'分割的目录层次,比如importlib.import_module('django.core.management.commands.migrate'),这里该方法引入了myproject.settings模块,加载settings配置文件中上述4个key的值。接着校验中间件和时区的配置信息,完成全局实例settings中self._wrapped属性的初始化,最终通过__getattr__方法,将加载到的INSTALLED_APPS信息返回。回到execute函数,这里的全局settings实例以及初始化完毕,我们的subcommand不是runserver(runserver的情况下来之后再分析),接着运行django.setup()方法:

# django.__init__.py

def setup():from django.apps import appsfrom django.conf import settingsfrom django.utils.log import configure_loggingconfigure_logging(settings.LOGGING_CONFIG, settings.LOGGING)apps.populate(settings.INSTALLED_APPS)

  这里setup函数配置日志信息,并且加载settings.INSTALLED_APPS中的自定义模块以及models模块,保存在django.apps中,这是一个全局的Apps类实例,用以注册或者说存储项目中的INSTALLED_APPS模块信息。我们来看下apps.populate方法:

class Apps(object):# other functions ...def populate(self, installed_apps=None):if self.ready:returnwith self._lock:if self.ready:returnif self.app_configs:raise RuntimeError("populate() isn't reentrant")for entry in installed_apps:if isinstance(entry, AppConfig):app_config = entryelse:app_config = AppConfig.create(entry)if app_config.label in self.app_configs:raise ImproperlyConfigured("Application labels aren't unique, ""duplicates: %s" % app_config.label)self.app_configs[app_config.label] = app_configcounts = Counter(app_config.name for app_config in self.app_configs.values())duplicates = [name for name, count in counts.most_common() if count > 1]if duplicates:raise ImproperlyConfigured("Application names aren't unique, duplicates: %s" % ", ".join(duplicates))self.apps_ready = Truefor app_config in self.app_configs.values():all_models = self.all_models[app_config.label]app_config.import_models(all_models)self.clear_cache()self.models_ready = Truefor app_config in self.get_app_configs():app_config.ready()self.ready = True# other functions ...

  for循环中,使用AppConfig.create(entry) 加载installed_apps里面的各模块,并保存在app_cofigs中,注意create方法是AppConfig类的classmethod,用以实现工厂模式,它根据installed_apps中的模块构造出 AppConfig(app_name, app_module) 这样的实例,其中app_name表示INSTALLED_APPS中指定的应用字符串,app_module表示根据app_name加载到的module。当加载的模块中有定义default_app_config时,那么会构造其表示的类对象,例如我们在django项目中会用到的用户认证鉴权模块,在INSTALLED_APPS中配置为'django.contrib.auth',当在import_module此模块时,实际django.contrib.auth是一个python的package,在__init__.py文件中有定义了default_app_config = 'django.contrib.auth.apps.AuthConfig',那么最终会构造apps.py中定义的AuthConfig类实例,这些default_app_config对应的类同样继承自AppConfig。在AppConfig实例的初始化方法中,会记录这些应用的标签、文件路径等信息,最终将这些实例会保存在其属性app_configs中。接着每个AppConfig实例会加载其指定模块的models,all_models定义为all_models = defaultdict(OrderedDict),defaultdict会创建表示一个类似dict的实例,在构造时可以指定字典中元素值的默认类型,这里用OrderedDict来指定其默认的类型,OrderedDict是dict的子类,它可以记录元素添加到字典中的顺序,保证元素有序,因此在获取all_models中的元素时,当key不存在时,会创建一个OrderedDict对象,我们来看下models是如何加载的:

for app_config in self.app_configs.values():all_models = self.all_models[app_config.label]app_config.import_models(all_models)MODELS_MODULE_NAME = 'models'def import_models(self, all_models):self.models = all_modelsif module_has_submodule(self.module, MODELS_MODULE_NAME):models_module_name = '%s.%s' % (self.name, MODELS_MODULE_NAME)self.models_module = import_module(models_module_name)

  在module指定的目录或者package中,查找是否有定义models模块,并将其import进来。再回到execute方法中,如果python manage.py之后传递的是非help或者version这种帮助信息,那么会执行到语句:

self.fetch_command(subcommand).run_from_argv(self.argv)

  fetch_command方法内部先通过get_commands方法,从全局的apps对象中获取之前加载到的INSTALLED_APPS模块对应的management/commands包:

# django.core.management.__init__.py

@lru_cache.lru_cache(maxsize=None)
def get_commands():commands = {name: 'django.core' for name in find_commands(upath(__path__[0]))}if not settings.configured:return commandsfor app_config in reversed(list(apps.get_app_configs())):path = os.path.join(app_config.path, 'management')commands.update({name: app_config.name for name in find_commands(path)})return commandsclass ManagementUtility(object):# other functions ...def fetch_command(self, subcommand):commands = get_commands()try:app_name = commands[subcommand]except KeyError:# This might trigger ImproperlyConfigured (masked in get_commands)
            settings.INSTALLED_APPSsys.stderr.write("Unknown command: %r\nType '%s help' for usage.\n" %(subcommand, self.prog_name))sys.exit(1)if isinstance(app_name, BaseCommand):# If the command is already loaded, use it directly.klass = app_nameelse:klass = load_command_class(app_name, subcommand)return klass# other functions ...

  注意方法定义在django.core.management._init_.py文件中,get_commands方法中的__path__[0]是其__init__.py的绝对路径,这里通过find_commands首先将django.core.management.commands目录下的模块引入进来,像我们常用的一些基础模块(通过python manage.py进行调用)比如startpp、migrate、compilemessages、runserver、shell等都在此目录下。加载完这些基础模块之后,接着加载apps中的自定义的commands模块,即INSTALLED_APPS对应的各个模块。再根据subcommand从中这些包中获取到对应的Command,返回Command类对象。django后台服务中的Command继承自BaseCommand,并且实现了各自业务的handle方法。

  接着,通过返回的对象调用其run_from_argv方法,从名称可以看出,这个方法是通过命令行参数,进行函数调用的:

def run_from_argv(self, argv):self._called_from_command_line = Trueparser = self.create_parser(argv[0], argv[1])if self.use_argparse:options = parser.parse_args(argv[2:])cmd_options = vars(options)# Move positional args out of options to mimic legacy optparseargs = cmd_options.pop('args', ())else:options, args = parser.parse_args(argv[2:])cmd_options = vars(options)handle_default_options(options)try:self.execute(*args, **cmd_options)except Exception as e:if options.traceback or not isinstance(e, CommandError):raiseif isinstance(e, SystemCheckError):self.stderr.write(str(e), lambda x: x)else:self.stderr.write('%s: %s' % (e.__class__.__name__, e))sys.exit(1)finally:connections.close_all()

  我们知道 fetch_command 返回的Command对象继承自BaseCommand,那么不同的后台任务可能需要不同的参数信息,在run_from_argv方法中,通过调用create_parser方法,Command子类将不同的参数信息进行设置,再通过执行execute方法,最终调用子类Command对象中定义的handle方法,完成自定义项目中业务逻辑的实现。

posted on 2017-02-16 16:30 Tourun 阅读(...) 评论(...) 编辑 收藏

转载于:https://www.cnblogs.com/Tour/p/6403833.html

django源码简析——后台程序入口相关推荐

  1. 【Golang源码分析】Go Web常用程序包gorilla/mux的使用与源码简析

    目录[阅读时间:约10分钟] 一.概述 二.对比: gorilla/mux与net/http DefaultServeMux 三.简单使用 四.源码简析 1.NewRouter函数 2.HandleF ...

  2. Log-Pilot 源码简析

    Log-Pilot 源码简析 简单介绍 源码简析 Pilot结构体 Piloter接口 main函数 Pilot.Run Pilot.New Pilot.watch Pilot.processEven ...

  3. (Ajax)axios源码简析(三)——请求与取消请求

    传送门: axios源码简析(一)--axios入口文件 axios源码简析(二)--Axios类与拦截器 axios源码简析(三)--请求与取消请求 请求过程 在Axios.prototype.re ...

  4. ffmpeg实战教程(十三)iJKPlayer源码简析

    要使用封装优化ijk就必须先了解ffmpeg,然后看ijk对ffmpeg的C层封装! 这是我看ijk源码时候的笔记,比较散乱.不喜勿喷~ ijk源码简析: 1.ijkplayer_jni.c 封装的播 ...

  5. 【Android项目】本地FM收音机开发及源码简析

    [Android项目]本地FM收音机开发及源码简析 目录 1.概述 2.收音机的基本原理 3.收音机其他信息 RDS功能 4.Android开发FM收音机源码解析 5.App层如何设计本地FM应用 6 ...

  6. java ArrayList 概述 与源码简析

    ArrayList 概述 与源码简析 1 ArrayList 创建 ArrayList<String> list = new ArrayList<>(); //构造一个初始容量 ...

  7. Spring Boot源码简析 @EnableTransactionManagement

    相关阅读 Spring Boot源码简析 事务管理 Spring Boot源码简析 @EnableAspectJAutoProxy Spring Boot源码简析 @EnableAsync Sprin ...

  8. 2300套php网站源码模板 完整后台程序 整站带数据,ID41:建材自适应PC手机平板微信Seo结构送2300套PHP整站源码...

    多平台演示(兼容PC电脑/手机/平板/微信): http://www.2008o.com/jianwang/Html/jianwangzhan45/132.html(复制网址到浏览器访问) 源码大小1 ...

  9. Android污点分析工具flowdroid源码简析

    flowdroid是一款对Android app进行风险分析的应用,下面深入其源码对其工作的流程进行相关的探究. 1.准备 a)下载相关源码(包括soot.heros.jasmin.soot-info ...

最新文章

  1. MFC libraries are required for this project. Install them from the Visual Studio installer (Individu
  2. CISCO CME:配置基于硬件的电话会议
  3. ccna学习笔记之五:路由器密码恢复
  4. 使用windows的小技巧
  5. ElasticSearch聚合分析
  6. python 循环内部添加多个条件判断会出现越界
  7. c mysql 插入大量数据_C++操作MySQL大量数据插入效率低下的解决方法
  8. Leetcode每日一题:1248.count-number-of-nice-subarrays(统计[优美子数组])
  9. 无人车前轮转向参数校准分析
  10. Qt Creator 启动失败 可能的解决办法
  11. 面试题思考:try 代码块中含 return 语句时,代码执行顺序
  12. paip.python开发环境搭建
  13. 使用python移动复制文件
  14. Python连接SQL Server 之pyodbc
  15. Java代码常见错误写法
  16. ios开发愤怒的小鸟的Lua语言:Wax框架详解
  17. android报错:Only the original thread that created a view hierarchy can touch its views.
  18. vs code python插件_vs code Python code runner配置 , 飞跃|Fly
  19. 【论文笔记】A Survey on Federated Learning: The Journey From Centralized to Distributed On-Site...(综述)
  20. S.M.A.R.T 参数详解及推荐指标

热门文章

  1. ux设计中的各种地图_UX设计中的格式塔原理
  2. 云栖大会上,阿里巴巴重磅发布前端知识图谱!
  3. 并发工具类(四)线程间的交换数据 Exchanger
  4. 腾讯正式宣布成立技术委员会,要对组织架构下狠手
  5. 马化腾联手10余位科学家发起科学探索奖,腾讯基金投入10亿元启动资金
  6. linux中service的问题
  7. Silverlight 解谜游戏 之四 粒子特效
  8. 【经验分享】Hydra(爆破神器)使用方法
  9. gulp版本号管理插件注意事项
  10. 同时绑定onpropertychange 和 oninput 事件,实时检测 input、textarea输入改变事件,支持低版本IE,支持复制粘贴...