Cleanup option keyword/environment substitution
[fio.git] / options.c
index 6a87e98fda6134f52167667225e69bd5757b296d..84bf5ac345ccdda9d1ccf7f66d7a90beb57b0c94 100644 (file)
--- a/options.c
+++ b/options.c
@@ -226,6 +226,21 @@ static int str_rw_cb(void *data, const char *str)
        return 0;
 }
 
+#ifdef FIO_HAVE_LIBAIO
+static int str_libaio_cb(void *data, const char *str)
+{
+       struct thread_data *td = data;
+
+       if (!strcmp(str, "userspace_reap")) {
+               td->o.userspace_libaio_reap = 1;
+               return 0;
+       }
+
+       log_err("fio: bad libaio sub-option: %s\n", str);
+       return 1;
+}
+#endif
+
 static int str_mem_cb(void *data, const char *mem)
 {
        struct thread_data *td = data;
@@ -580,6 +595,14 @@ static char *get_next_file_name(char **ptr)
        return start;
 }
 
+static int str_hostname_cb(void *data, const char *input)
+{
+       struct thread_data *td = data;
+
+       td->o.filename = strdup(input);
+       return 0;
+}
+
 static int str_filename_cb(void *data, const char *input)
 {
        struct thread_data *td = data;
@@ -734,6 +757,17 @@ static int str_write_lat_log_cb(void *data, const char *str)
        return 0;
 }
 
+static int str_write_iops_log_cb(void *data, const char *str)
+{
+       struct thread_data *td = data;
+
+       if (str)
+               td->o.iops_log_file = strdup(str);
+
+       td->o.write_iops_log = 1;
+       return 0;
+}
+
 static int str_gtod_reduce_cb(void *data, int *il)
 {
        struct thread_data *td = data;
@@ -743,6 +777,7 @@ static int str_gtod_reduce_cb(void *data, int *il)
        td->o.disable_clat = !!val;
        td->o.disable_slat = !!val;
        td->o.disable_bw = !!val;
+       td->o.clat_percentiles = !val;
        if (val)
                td->tv_cache_mask = 63;
 
@@ -814,9 +849,6 @@ static int kb_base_verify(struct fio_option *o, void *data)
        return 0;
 }
 
-#define __stringify_1(x)       #x
-#define __stringify(x)         __stringify_1(x)
-
 /*
  * Map of job/command line options
  */
@@ -848,6 +880,12 @@ static struct fio_option options[FIO_MAX_OPTS] = {
                .prio   = -1, /* must come after "directory" */
                .help   = "File(s) to use for the workload",
        },
+       {
+               .name   = "hostname",
+               .type   = FIO_OPT_STR_STORE,
+               .cb     = str_hostname_cb,
+               .help   = "Hostname for net IO engine",
+       },
        {
                .name   = "kb_base",
                .type   = FIO_OPT_INT,
@@ -961,6 +999,7 @@ static struct fio_option options[FIO_MAX_OPTS] = {
 #ifdef FIO_HAVE_LIBAIO
                          { .ival = "libaio",
                            .help = "Linux native asynchronous IO",
+                           .cb   = str_libaio_cb,
                          },
 #endif
 #ifdef FIO_HAVE_POSIXAIO
@@ -1542,7 +1581,7 @@ static struct fio_option options[FIO_MAX_OPTS] = {
                .name   = "verify_dump",
                .type   = FIO_OPT_BOOL,
                .off1   = td_var_offset(verify_dump),
-               .def    = "1",
+               .def    = "0",
                .help   = "Dump contents of good and bad blocks on failure",
                .parent = "verify",
        },
@@ -1808,6 +1847,15 @@ static struct fio_option options[FIO_MAX_OPTS] = {
                .help   = "Time window over which to calculate bandwidth"
                          " (msec)",
                .def    = "500",
+               .parent = "write_bw_log",
+       },
+       {
+               .name   = "iopsavgtime",
+               .type   = FIO_OPT_INT,
+               .off1   = td_var_offset(iops_avg_time),
+               .help   = "Time window over which to calculate IOPS (msec)",
+               .def    = "500",
+               .parent = "write_iops_log",
        },
        {
                .name   = "create_serialize",
@@ -1925,12 +1973,19 @@ static struct fio_option options[FIO_MAX_OPTS] = {
                .cb     = str_write_lat_log_cb,
                .help   = "Write log of latency during run",
        },
+       {
+               .name   = "write_iops_log",
+               .type   = FIO_OPT_STR,
+               .off1   = td_var_offset(write_iops_log),
+               .cb     = str_write_iops_log_cb,
+               .help   = "Write log of IOPS during run",
+       },
        {
                .name   = "hugepage-size",
                .type   = FIO_OPT_INT,
                .off1   = td_var_offset(hugepage_size),
                .help   = "When using hugepages, specify size of each page",
-               .def    = __stringify(FIO_HUGE_PAGE),
+               .def    = __fio_stringify(FIO_HUGE_PAGE),
        },
        {
                .name   = "group_reporting",
@@ -1950,12 +2005,19 @@ static struct fio_option options[FIO_MAX_OPTS] = {
                .off1   = td_var_offset(refill_buffers),
                .help   = "Refill IO buffers on every IO submit",
        },
+       {
+               .name   = "scramble_buffers",
+               .type   = FIO_OPT_BOOL,
+               .off1   = td_var_offset(scramble_buffers),
+               .help   = "Slightly scramble buffers on every IO submit",
+               .def    = "1",
+       },
        {
                .name   = "clat_percentiles",
                .type   = FIO_OPT_BOOL,
                .off1   = td_var_offset(clat_percentiles),
                .help   = "Enable the reporting of completion latency percentiles",
-               .def    = "0",
+               .def    = "1",
        },
        {
                .name   = "percentile_list",
@@ -2156,15 +2218,15 @@ void fio_keywords_init(void)
 
 static char *bc_calc(char *str)
 {
-       char *buf, *tmp, opt[80];
+       char buf[128], *tmp;
        FILE *f;
        int ret;
 
        /*
         * No math, just return string
         */
-       if (!strchr(str, '+') && !strchr(str, '-') && !strchr(str, '*') &&
-           !strchr(str, '/'))
+       if ((!strchr(str, '+') && !strchr(str, '-') && !strchr(str, '*') &&
+            !strchr(str, '/')) || strchr(str, '\''))
                return str;
 
        /*
@@ -2175,37 +2237,89 @@ static char *bc_calc(char *str)
                return str;
 
        tmp++;
-       memset(opt, 0, sizeof(opt));
-       strncpy(opt, str, tmp - str);
 
-       buf = malloc(128);
+       /*
+        * Prevent buffer overflows; such a case isn't reasonable anyway
+        */
+       if (strlen(str) >= 128 || strlen(tmp) > 100)
+               return str;
 
        sprintf(buf, "which %s > /dev/null", BC_APP);
        if (system(buf)) {
                log_err("fio: bc is needed for performing math\n");
-               free(buf);
                return NULL;
        }
 
-       sprintf(buf, "echo %s | %s", tmp, BC_APP);
+       sprintf(buf, "echo '%s' | %s", tmp, BC_APP);
        f = popen(buf, "r");
        if (!f) {
-               free(buf);
                return NULL;
        }
 
-       ret = fread(buf, 1, 128, f);
+       ret = fread(&buf[tmp - str], 1, 128 - (tmp - str), f);
        if (ret <= 0) {
-               free(buf);
                return NULL;
        }
 
-       buf[ret - 1] = '\0';
-       strcat(opt, buf);
-       strcpy(buf, opt);
        pclose(f);
+       buf[(tmp - str) + ret - 1] = '\0';
+       memcpy(buf, str, tmp - str);
        free(str);
-       return buf;
+       return strdup(buf);
+}
+
+/*
+ * Return a copy of the input string with substrings of the form ${VARNAME}
+ * substituted with the value of the environment variable VARNAME.  The
+ * substitution always occurs, even if VARNAME is empty or the corresponding
+ * environment variable undefined.
+ */
+static char *option_dup_subs(const char *opt)
+{
+       char out[OPT_LEN_MAX+1];
+       char in[OPT_LEN_MAX+1];
+       char *outptr = out;
+       char *inptr = in;
+       char *ch1, *ch2, *env;
+       ssize_t nchr = OPT_LEN_MAX;
+       size_t envlen;
+
+       if (strlen(opt) + 1 > OPT_LEN_MAX) {
+               log_err("OPT_LEN_MAX (%d) is too small\n", OPT_LEN_MAX);
+               return NULL;
+       }
+
+       in[OPT_LEN_MAX] = '\0';
+       strncpy(in, opt, OPT_LEN_MAX);
+
+       while (*inptr && nchr > 0) {
+               if (inptr[0] == '$' && inptr[1] == '{') {
+                       ch2 = strchr(inptr, '}');
+                       if (ch2 && inptr+1 < ch2) {
+                               ch1 = inptr+2;
+                               inptr = ch2+1;
+                               *ch2 = '\0';
+
+                               env = getenv(ch1);
+                               if (env) {
+                                       envlen = strlen(env);
+                                       if (envlen <= nchr) {
+                                               memcpy(outptr, env, envlen);
+                                               outptr += envlen;
+                                               nchr -= envlen;
+                                       }
+                               }
+
+                               continue;
+                       }
+               }
+
+               *outptr++ = *inptr++;
+               --nchr;
+       }
+
+       *outptr = '\0';
+       return strdup(out);
 }
 
 /*
@@ -2215,6 +2329,7 @@ static char *fio_keyword_replace(char *opt)
 {
        char *s;
        int i;
+       int docalc = 0;
 
        for (i = 0; fio_keywords[i].word != NULL; i++) {
                struct fio_keyword *kw = &fio_keywords[i];
@@ -2244,29 +2359,51 @@ static char *fio_keyword_replace(char *opt)
                         * replace opt and free the old opt
                         */
                        opt = new;
-                       //free(o_org);
+                       free(o_org);
 
-                       /*
-                        * Check for potential math and invoke bc, if possible
-                        */
-                       opt = bc_calc(opt);
+                       docalc = 1;
                }
        }
 
+       /*
+        * Check for potential math and invoke bc, if possible
+        */
+       if (docalc)
+               opt = bc_calc(opt);
+
        return opt;
 }
 
+static char **dup_and_sub_options(char **opts, int num_opts)
+{
+       int i;
+       char **opts_copy = malloc(num_opts * sizeof(*opts));
+       for (i = 0; i < num_opts; i++) {
+               opts_copy[i] = option_dup_subs(opts[i]);
+               if (!opts_copy[i])
+                       continue;
+               opts_copy[i] = fio_keyword_replace(opts_copy[i]);
+       }
+       return opts_copy;
+}
+
 int fio_options_parse(struct thread_data *td, char **opts, int num_opts)
 {
        int i, ret;
+       char **opts_copy;
 
        sort_options(opts, options, num_opts);
+       opts_copy = dup_and_sub_options(opts, num_opts);
 
        for (ret = 0, i = 0; i < num_opts; i++) {
-               opts[i] = fio_keyword_replace(opts[i]);
-               ret |= parse_option(opts[i], options, td);
+               ret |= parse_option(opts_copy[i], opts[i], options, td);
+
+               if (opts_copy[i])
+                       free(opts_copy[i]);
+               opts_copy[i] = NULL;
        }
 
+       free(opts_copy);
        return ret;
 }
 
@@ -2285,7 +2422,10 @@ int fio_show_option_help(const char *opt)
        return show_cmd_help(options, opt);
 }
 
-static void __options_mem(struct thread_data *td, int alloc)
+/*
+ * dupe FIO_OPT_STR_STORE options
+ */
+void options_mem_dupe(struct thread_data *td)
 {
        struct thread_options *o = &td->o;
        struct fio_option *opt;
@@ -2297,32 +2437,13 @@ static void __options_mem(struct thread_data *td, int alloc)
                        continue;
 
                ptr = (void *) o + opt->off1;
-               if (*ptr) {
-                       if (alloc)
-                               *ptr = strdup(*ptr);
-                       else {
-                               free(*ptr);
-                               *ptr = NULL;
-                       }
-               }
+               if (!*ptr)
+                       ptr = td_var(o, opt->off1);
+               if (*ptr)
+                       *ptr = strdup(*ptr);
        }
 }
 
-/*
- * dupe FIO_OPT_STR_STORE options
- */
-void options_mem_dupe(struct thread_data *td)
-{
-       __options_mem(td, 1);
-}
-
-void options_mem_free(struct thread_data fio_unused *td)
-{
-#if 0
-       __options_mem(td, 0);
-#endif
-}
-
 unsigned int fio_get_kb_base(void *data)
 {
        struct thread_data *td = data;
@@ -2403,3 +2524,8 @@ void del_opt_posval(const char *optname, const char *ival)
                o->posval[i].help = NULL;
        }
 }
+
+void fio_options_free(struct thread_data *td)
+{
+       options_free(options, td);
+}