时序数据库Influx-IOx源码学习三（命令行及配置）

欢迎关注公众号:

上篇介绍到：InfluxDB-IOx的环境搭建,详情见：https://my.oschina.net/u/3374539/blog/5016798

本章开始，讲解启动的主流程！

打开src/main.rs文件可以找到下面的代码

fn main() -> Result<(), std::io::Error> {
    // load all environment variables from .env before doing anything
    load_dotenv();

    let config = Config::from_args();
    println!("{:?}", config);
   
    //省略
    .....
    
    Ok(())
}

在main方法中映入眼帘的第一行就是load_dotenv()方法，然后是Config::from_args()接下来就分别跟踪这两个方法，看明白是怎么工作的。

加载配置文件

在README文件中，我们可以看到这样一行：

Should you desire specifying config via a file, you can do so using a .env formatted file in the working directory. You can use the provided example as a template if you want:

cp docs/env.example .env

意思就是这个工程使用的配置文件，名字是.env。了解这个特殊的名字之后，我们看代码src/main.rs:276：

fn load_dotenv() {
    //调用dotenv方法，并对其返回值进行判断
    match dotenv() {
        //如果返回成功，程序什么都不做，继续执行。
        Ok(_) => {}
        //返回的是错误，那么判断一下是否为'未找到'错误，
        //如果是未找到，那么就什么都不做（也就是有默认值填充）
        Err(dotenv::Error::Io(err)) if err.kind() == std::io::ErrorKind::NotFound => {
        }
        //这里就是真真正正必须要处理的错误了，直接退出程序
        Err(e) => {
            eprintln!("FATAL Error loading config from: {}", e);
            eprintln!("Aborting");
            std::process::exit(1);
        }
    };
}

然后跟踪dotenv()方法看看如何执行(这里就进入了dotenv这个crate了)： 为了方便写，我就直接把所有调用，从上到下的顺序全都写出来了

//返回一个PathBuf的Result，之后再看这个Result
pub fn dotenv() -> Result<PathBuf> {
    //new一个Finder结构并调用find方法
    //?代表错误的时候直接抛出错误
    let (path, iter) = Finder::new().find()?;
    //返回一个自定义的Iter结构，并调用load方法
    iter.load()?;
    //成功返回
    Ok(path)
}
//创建一个Finder结构体，filename使用`.env`填充
 pub fn new() -> Self {
        Finder {
            filename: Path::new(".env"),
        }
 }
//返回一个元组，多个返回值，(路径，文件读取相关记录)
pub fn find(self) -> Result<(PathBuf, Iter<File>)> {
        //使用标准库中的current_dir()方法得到当前的路径
        //出错就返回Error::Io错误，正常就调用find方法
        let path = find(&env::current_dir().map_err(Error::Io)?, self.filename)?;
        //如果找到了.env文件就打开，打开错误就返回Error::Io错误
        let file = File::open(&path).map_err(Error::Io)?;
        //使用打开的文件创建一个Iter的结构
        let iter = Iter::new(file);
        //返回
        Ok((path, iter))
 }
 //递归查找.env文件
 pub fn find(directory: &Path, filename: &Path) -> Result<PathBuf> {
    //拼装一个全路径
    let candidate = directory.join(filename);
    //尝试打开这个文件
    match fs::metadata(&candidate) {
        //成功打开了，说明找到了.env文件，就返回成功
        //但我有个疑问文件内容为啥不校验一下呢？
        Ok(metadata) => if metadata.is_file() {
            return Ok(candidate);
        },
        //除了没找到文件的错误之外，其它错误都直接返回异常
        Err(error) => {
            if error.kind() != io::ErrorKind::NotFound {
                return Err(Error::Io(error));
            }
        }
    }
    //没找到的时候，就返回到父级文件夹里，继续找，一直到根文件夹
    if let Some(parent) = directory.parent() {
        find(parent, filename)
    } else {
        //一直到根文件夹，还没找到就返回一个NotFound的IO错误，
        //这个在上面的代码中提到，这个错误会被忽略
        Err(Error::Io(io::Error::new(io::ErrorKind::NotFound, "path not found")))
    }
}

  //对应的iter.load()?;方法实现
  pub fn load(self) -> Result<()> {
        //可以使用for是因为实现了Iterator 这个trait
        for item in self {
            //获取读取出来的一行一行的配置项
            let (key, value) = item?;
            //验证key没有什么问题，就放到env中
            if env::var(&key).is_err() {
                env::set_var(&key, value);
            }
        }
        Ok(())
    }
// 为了能够for循环，实现的Iterator
impl<R: Read> Iterator for Iter<R> {
    type Item = Result<(String, String)>;

    fn next(&mut self) -> Option<Self::Item> {
        loop {
           //一行一行的读取文件内容
            let line = match self.lines.next() {
                Some(Ok(line)) => line,
                Some(Err(err)) => return Some(Err(Error::Io(err))),
                None => return None,
            };
            //解析配置项目，这里就不在深入跟了
            match parse::parse_line(&line, &mut self.substitution_data) {
                Ok(Some(result)) => return Some(Ok(result)),
                Ok(None) => {}
                Err(err) => return Some(Err(err)),
            }
        }
    }
}

研究这里的时候，我发现了一个比较好玩儿的东西就是返回值的Result<PathBuf>。标准库的定义中，Result是有两个值，分别是<T,E>。

自定义的类型，节省了Error这个模板代码
pub type Result<T> = std::result::Result<T, Error>;

//Error也自己定义
pub enum Error {
    LineParse(String, usize),
    Io(io::Error),
    EnvVar(std::env::VarError),
    #[doc(hidden)]
    __Nonexhaustive
}

//实现一个not_found()的方法来判断是否为not_found的一个错误类型
impl Error {
    pub fn not_found(&self) -> bool {
        if let Error::Io(ref io_error) = *self {
            return io_error.kind() == io::ErrorKind::NotFound;
        }
        false
    }
}

//实现标准库中的error::Error这个trait
impl error::Error for Error {
    //追踪错误的上一级，应该是打印堆栈这种功能
    //如果内部有错误类型Err返回：Some(e),如果没有返回：None
    //关于'static这个生命周期的标注，我也不是很理解
    //是指存储的错误生命周期足够长还是什么？
    fn source(&self) -> Option<&(dyn error::Error + 'static)> {
        match self {
            Error::Io(err) => Some(err),
            Error::EnvVar(err) => Some(err),
            _ => None,
        }
    }
}
//实现错误的打印
impl fmt::Display for Error {
    fn fmt(&self, fmt: &mut fmt::Formatter) -> fmt::Result {
        match self {
            Error::Io(err) => write!(fmt, "{}", err),
            Error::EnvVar(err) => write!(fmt, "{}", err),
            Error::LineParse(line, error_index) => write!(fmt, "Error parsing line: '{}', error at line index: {}", line, error_index),
            _ => unreachable!(),
        }
    }
}

更详细的rust错误处理，可以参见：https://zhuanlan.zhihu.com/p/109242831

命令行参数

在main方法中我们可以看到第二行，

let config = Config::from_args();

这是influx使用了structopt这个crate，调用该方法后，程序会根据结构体上的#[structopt()]中的参数进行执行命令行解析。

#[derive(Debug, StructOpt)]
#[structopt(
//cargo的crate名字
name = "influxdb_iox",
//打印出来介绍
about = "InfluxDB IOx server and command line tools",
long_about = // 省略 ...
)]
struct Config {
    // from_occurrences代表出现了几次，就是-vvv的时候v出现的次数
    #[structopt(short, long, parse(from_occurrences))]
    verbose: u64,
    #[structopt(
    short,
    long,
    global = true,
    env = "IOX_ADDR",
    default_value = "http://127.0.0.1:8082"
    )]
    host: String,
    #[structopt(long)]
    num_threads: Option<usize>,
    //subcommand代表是一个子类型的，
    //具体还有什么命令行要去子类型里继续解析，
    //这个字段不展示在命令行中
    #[structopt(subcommand)]
    command: Command,
}

//在influx的命令行中提供了8个主要的命令，
//在上一章中使用到的run参数就是属于Run(Box<commands::run::Config>)里的调用。
//这里都是subcommand，需要继续解析，这个在以后学习每个具体功能的时候再分析
#[derive(Debug, StructOpt)]
enum Command {
    Convert { // 省略 ...},
    Meta {// 省略 ...},
    Database(commands::database::Config),
    Run(Box<commands::run::Config>),
    Stats(commands::stats::Config),
    Server(commands::server::Config),
    Writer(commands::writer::Config),
    Operation(commands::operations::Config),
}

下面通过打印出来的例子来对应structopt中的内容。

$ ./influxdb_iox -vvvv run
Config { verbose: 4, host: "http://127.0.0.1:8082", num_threads: None, command: Run(Config { rust_log: None, log_format: None, verbose_count: 0, writer_id: None, http_bind_address: 127.0.0.1:8080, grpc_bind_address: 127.0.0.1:8082, database_directory: None, object_store: None, bucket: None, aws_access_key_id: None, aws_secret_access_key: None, aws_default_region: "us-east-1", google_service_account: None, azure_storage_account: None, azure_storage_access_key: None, jaeger_host: None }) }

可以看到，我们执行了Run这个变体的Subcommand，并且指定了Config结构体中的verbose 4 次，IOx也成功的识别了。

后面继续学习程序的启动过程，祝玩儿的开心！