Merge branch 'master' of ssh://router/data/git/fio
[fio.git] / parse.c
1 /*
2  * This file contains the ini and command liner parser main.
3  */
4 #include <stdio.h>
5 #include <stdlib.h>
6 #include <unistd.h>
7 #include <ctype.h>
8 #include <string.h>
9 #include <errno.h>
10 #include <limits.h>
11 #include <stdlib.h>
12
13 #include "parse.h"
14 #include "debug.h"
15
16 static struct fio_option *fio_options;
17
18 static int vp_cmp(const void *p1, const void *p2)
19 {
20         const struct value_pair *vp1 = p1;
21         const struct value_pair *vp2 = p2;
22
23         return strlen(vp2->ival) - strlen(vp1->ival);
24 }
25
26 static void posval_sort(struct fio_option *o, struct value_pair *vpmap)
27 {
28         const struct value_pair *vp;
29         int entries;
30
31         memset(vpmap, 0, PARSE_MAX_VP * sizeof(struct value_pair));
32
33         for (entries = 0; entries < PARSE_MAX_VP; entries++) {
34                 vp = &o->posval[entries];
35                 if (!vp->ival || vp->ival[0] == '\0')
36                         break;
37
38                 memcpy(&vpmap[entries], vp, sizeof(*vp));
39         }
40
41         qsort(vpmap, entries, sizeof(struct value_pair), vp_cmp);
42 }
43
44 static void show_option_range(struct fio_option *o)
45 {
46         if (!o->minval && !o->maxval)
47                 return;
48
49         printf("%20s: min=%d, max=%d\n", "range", o->minval, o->maxval);
50 }
51
52 static void show_option_values(struct fio_option *o)
53 {
54         int i = 0;
55
56         do {
57                 const struct value_pair *vp = &o->posval[i];
58
59                 if (!vp->ival)
60                         break;
61
62                 printf("%20s: %-10s", i == 0 ? "valid values" : "", vp->ival);
63                 if (vp->help)
64                         printf(" %s", vp->help);
65                 printf("\n");
66                 i++;
67         } while (i < PARSE_MAX_VP);
68
69         if (i)
70                 printf("\n");
71 }
72
73 static unsigned long get_mult_time(char c)
74 {
75         switch (c) {
76         case 'm':
77         case 'M':
78                 return 60;
79         case 'h':
80         case 'H':
81                 return 60 * 60;
82         case 'd':
83         case 'D':
84                 return 24 * 60 * 60;
85         default:
86                 return 1;
87         }
88 }
89
90 static unsigned long get_mult_bytes(char c)
91 {
92         switch (c) {
93         case 'k':
94         case 'K':
95                 return 1024;
96         case 'm':
97         case 'M':
98                 return 1024 * 1024;
99         case 'g':
100         case 'G':
101                 return 1024 * 1024 * 1024;
102         case 'e':
103         case 'E':
104                 return 1024 * 1024 * 1024 * 1024UL;
105         default:
106                 return 1;
107         }
108 }
109
110 /*
111  * convert string into decimal value, noting any size suffix
112  */
113 int str_to_decimal(const char *str, long long *val, int kilo)
114 {
115         int len, base;
116
117         len = strlen(str);
118         if (!len)
119                 return 1;
120
121         if (strstr(str, "0x") || strstr(str, "0X"))
122                 base = 16;
123         else
124                 base = 10;
125
126         *val = strtoll(str, NULL, base);
127         if (*val == LONG_MAX && errno == ERANGE)
128                 return 1;
129
130         if (kilo)
131                 *val *= get_mult_bytes(str[len - 1]);
132         else
133                 *val *= get_mult_time(str[len - 1]);
134
135         return 0;
136 }
137
138 static int check_str_bytes(const char *p, long long *val)
139 {
140         return str_to_decimal(p, val, 1);
141 }
142
143 static int check_str_time(const char *p, long long *val)
144 {
145         return str_to_decimal(p, val, 0);
146 }
147
148 void strip_blank_front(char **p)
149 {
150         char *s = *p;
151
152         while (isspace(*s))
153                 s++;
154
155         *p = s;
156 }
157
158 void strip_blank_end(char *p)
159 {
160         char *start = p, *s;
161
162         s = strchr(p, ';');
163         if (s)
164                 *s = '\0';
165         s = strchr(p, '#');
166         if (s)
167                 *s = '\0';
168         if (s)
169                 p = s;
170
171         s = p + strlen(p);
172         while ((isspace(*s) || iscntrl(*s)) && (s > start))
173                 s--;
174
175         *(s + 1) = '\0';
176 }
177
178 static int check_range_bytes(const char *str, long *val)
179 {
180         char suffix;
181
182         if (!strlen(str))
183                 return 1;
184
185         if (sscanf(str, "%lu%c", val, &suffix) == 2) {
186                 *val *= get_mult_bytes(suffix);
187                 return 0;
188         }
189
190         if (sscanf(str, "%lu", val) == 1)
191                 return 0;
192
193         return 1;
194 }
195
196 static int check_int(const char *p, int *val)
197 {
198         if (!strlen(p))
199                 return 1;
200         if (strstr(p, "0x") || strstr(p, "0X")) {
201                 if (sscanf(p, "%x", val) == 1)
202                         return 0;
203         } else {
204                 if (sscanf(p, "%u", val) == 1)
205                         return 0;
206         }
207
208         return 1;
209 }
210
211 static struct fio_option *find_option(struct fio_option *options,
212                                       const char *opt)
213 {
214         struct fio_option *o;
215
216         for (o = &options[0]; o->name; o++) {
217                 if (!strcmp(o->name, opt))
218                         return o;
219                 else if (o->alias && !strcmp(o->alias, opt))
220                         return o;
221         }
222
223         return NULL;
224 }
225
226 #define val_store(ptr, val, off, data)                  \
227         do {                                            \
228                 ptr = td_var((data), (off));            \
229                 *ptr = (val);                           \
230         } while (0)
231
232 static int __handle_option(struct fio_option *o, const char *ptr, void *data,
233                            int first, int more)
234 {
235         int il, *ilp;
236         long long ull, *ullp;
237         long ul1, ul2;
238         char **cp;
239         int ret = 0, is_time = 0;
240
241         dprint(FD_PARSE, "__handle_option=%s, type=%d, ptr=%s\n", o->name,
242                                                         o->type, ptr);
243
244         if (!ptr && o->type != FIO_OPT_STR_SET && o->type != FIO_OPT_STR) {
245                 fprintf(stderr, "Option %s requires an argument\n", o->name);
246                 return 1;
247         }
248
249         switch (o->type) {
250         case FIO_OPT_STR: {
251                 fio_opt_str_fn *fn = o->cb;
252                 const struct value_pair *vp;
253                 struct value_pair posval[PARSE_MAX_VP];
254                 int i;
255
256                 posval_sort(o, posval);
257
258                 for (i = 0; i < PARSE_MAX_VP; i++) {
259                         vp = &posval[i];
260                         if (!vp->ival || vp->ival[0] == '\0')
261                                 break;
262                         ret = 1;
263                         if (!strncmp(vp->ival, ptr, strlen(vp->ival))) {
264                                 ret = 0;
265                                 if (!o->off1)
266                                         break;
267                                 val_store(ilp, vp->oval, o->off1, data);
268                                 break;
269                         }
270                 }
271
272                 if (ret)
273                         show_option_values(o);
274                 else if (fn)
275                         ret = fn(data, ptr);
276                 break;
277         }
278         case FIO_OPT_STR_VAL_TIME:
279                 is_time = 1;
280         case FIO_OPT_INT:
281         case FIO_OPT_STR_VAL:
282         case FIO_OPT_STR_VAL_INT: {
283                 fio_opt_str_val_fn *fn = o->cb;
284
285                 if (is_time)
286                         ret = check_str_time(ptr, &ull);
287                 else
288                         ret = check_str_bytes(ptr, &ull);
289
290                 if (ret)
291                         break;
292
293                 if (o->maxval && ull > o->maxval) {
294                         fprintf(stderr, "max value out of range: %lld"
295                                         " (%d max)\n", ull, o->maxval);
296                         return 1;
297                 }
298                 if (o->minval && ull < o->minval) {
299                         fprintf(stderr, "min value out of range: %lld"
300                                         " (%d min)\n", ull, o->minval);
301                         return 1;
302                 }
303
304                 if (fn)
305                         ret = fn(data, &ull);
306                 else {
307                         if (o->type == FIO_OPT_STR_VAL_INT ||
308                             o->type == FIO_OPT_INT) {
309                                 if (first)
310                                         val_store(ilp, ull, o->off1, data);
311                                 if (!more && o->off2)
312                                         val_store(ilp, ull, o->off2, data);
313                         } else {
314                                 if (first)
315                                         val_store(ullp, ull, o->off1, data);
316                                 if (!more && o->off2)
317                                         val_store(ullp, ull, o->off2, data);
318                         }
319                 }
320                 break;
321         }
322         case FIO_OPT_STR_STORE: {
323                 fio_opt_str_fn *fn = o->cb;
324
325                 cp = td_var(data, o->off1);
326                 *cp = strdup(ptr);
327                 if (fn) {
328                         ret = fn(data, ptr);
329                         if (ret) {
330                                 free(*cp);
331                                 *cp = NULL;
332                         }
333                 }
334                 break;
335         }
336         case FIO_OPT_RANGE: {
337                 char tmp[128];
338                 char *p1, *p2;
339
340                 strncpy(tmp, ptr, sizeof(tmp) - 1);
341
342                 p1 = strchr(tmp, '-');
343                 if (!p1) {
344                         p1 = strchr(tmp, ':');
345                         if (!p1) {
346                                 ret = 1;
347                                 break;
348                         }
349                 }
350
351                 p2 = p1 + 1;
352                 *p1 = '\0';
353                 p1 = tmp;
354
355                 ret = 1;
356                 if (!check_range_bytes(p1, &ul1) &&
357                     !check_range_bytes(p2, &ul2)) {
358                         ret = 0;
359                         if (ul1 > ul2) {
360                                 unsigned long foo = ul1;
361
362                                 ul1 = ul2;
363                                 ul2 = foo;
364                         }
365
366                         if (first) {
367                                 val_store(ilp, ul1, o->off1, data);
368                                 val_store(ilp, ul2, o->off2, data);
369                         }
370                         if (o->off3 && o->off4) {
371                                 val_store(ilp, ul1, o->off3, data);
372                                 val_store(ilp, ul2, o->off4, data);
373                         }
374                 }
375
376                 break;
377         }
378         case FIO_OPT_BOOL: {
379                 fio_opt_int_fn *fn = o->cb;
380
381                 ret = check_int(ptr, &il);
382                 if (ret)
383                         break;
384
385                 if (o->maxval && il > (int) o->maxval) {
386                         fprintf(stderr, "max value out of range: %d (%d max)\n",
387                                                                 il, o->maxval);
388                         return 1;
389                 }
390                 if (o->minval && il < o->minval) {
391                         fprintf(stderr, "min value out of range: %d (%d min)\n",
392                                                                 il, o->minval);
393                         return 1;
394                 }
395
396                 if (o->neg)
397                         il = !il;
398
399                 if (fn)
400                         ret = fn(data, &il);
401                 else {
402                         if (first)
403                                 val_store(ilp, il, o->off1, data);
404                         if (!more && o->off2)
405                                 val_store(ilp, il, o->off2, data);
406                 }
407                 break;
408         }
409         case FIO_OPT_STR_SET: {
410                 fio_opt_str_set_fn *fn = o->cb;
411
412                 if (fn)
413                         ret = fn(data);
414                 else {
415                         if (first)
416                                 val_store(ilp, 1, o->off1, data);
417                         if (!more && o->off2)
418                                 val_store(ilp, 1, o->off2, data);
419                 }
420                 break;
421         }
422         case FIO_OPT_DEPRECATED:
423                 fprintf(stdout, "Option %s is deprecated\n", o->name);
424                 break;
425         default:
426                 fprintf(stderr, "Bad option type %u\n", o->type);
427                 ret = 1;
428         }
429
430         return ret;
431 }
432
433 static int handle_option(struct fio_option *o, const char *__ptr, void *data)
434 {
435         char *ptr, *ptr2 = NULL;
436         int r1, r2;
437
438         dprint(FD_PARSE, "handle_option=%s, ptr=%s\n", o->name, __ptr);
439
440         ptr = NULL;
441         if (__ptr)
442                 ptr = strdup(__ptr);
443
444         /*
445          * See if we have a second set of parameters, hidden after a comma.
446          * Do this before parsing the first round, to check if we should
447          * copy set 1 options to set 2.
448          */
449         if (ptr &&
450             (o->type != FIO_OPT_STR_STORE) &&
451             (o->type != FIO_OPT_STR)) {
452                 ptr2 = strchr(ptr, ',');
453                 if (ptr2 && *(ptr2 + 1) == '\0')
454                         *ptr2 = '\0';
455                 if (!ptr2)
456                         ptr2 = strchr(ptr, ':');
457                 if (!ptr2)
458                         ptr2 = strchr(ptr, '-');
459         }
460
461         /*
462          * Don't return early if parsing the first option fails - if
463          * we are doing multiple arguments, we can allow the first one
464          * being empty.
465          */
466         r1 = __handle_option(o, ptr, data, 1, !!ptr2);
467
468         if (!ptr2) {
469                 if (ptr)
470                         free(ptr);
471                 return r1;
472         }
473
474         ptr2++;
475         r2 = __handle_option(o, ptr2, data, 0, 0);
476
477         if (ptr)
478                 free(ptr);
479         return r1 && r2;
480 }
481
482 static struct fio_option *get_option(const char *opt,
483                                      struct fio_option *options, char **post)
484 {
485         struct fio_option *o;
486         char *ret;
487
488         ret = strchr(opt, '=');
489         if (ret) {
490                 *post = ret;
491                 *ret = '\0';
492                 ret = (char *) opt;
493                 (*post)++;
494                 strip_blank_end(ret);
495                 o = find_option(options, ret);
496         } else {
497                 o = find_option(options, opt);
498                 *post = NULL;
499         }
500
501         return o;
502 }
503
504 static int opt_cmp(const void *p1, const void *p2)
505 {
506         struct fio_option *o1, *o2;
507         char *s1, *s2, *foo;
508         int prio1, prio2;
509
510         s1 = strdup(*((char **) p1));
511         s2 = strdup(*((char **) p2));
512
513         o1 = get_option(s1, fio_options, &foo);
514         o2 = get_option(s2, fio_options, &foo);
515         
516         prio1 = prio2 = 0;
517         if (o1)
518                 prio1 = o1->prio;
519         if (o2)
520                 prio2 = o2->prio;
521
522         free(s1);
523         free(s2);
524         return prio2 - prio1;
525 }
526
527 void sort_options(char **opts, struct fio_option *options, int num_opts)
528 {
529         fio_options = options;
530         qsort(opts, num_opts, sizeof(char *), opt_cmp);
531         fio_options = NULL;
532 }
533
534 int parse_cmd_option(const char *opt, const char *val,
535                      struct fio_option *options, void *data)
536 {
537         struct fio_option *o;
538
539         o = find_option(options, opt);
540         if (!o) {
541                 fprintf(stderr, "Bad option <%s>\n", opt);
542                 return 1;
543         }
544
545         if (!handle_option(o, val, data))
546                 return 0;
547
548         fprintf(stderr, "fio: failed parsing %s=%s\n", opt, val);
549         return 1;
550 }
551
552 /*
553  * Return a copy of the input string with substrings of the form ${VARNAME}
554  * substituted with the value of the environment variable VARNAME.  The
555  * substitution always occurs, even if VARNAME is empty or the corresponding
556  * environment variable undefined.
557  */
558 static char *option_dup_subs(const char *opt)
559 {
560         char out[OPT_LEN_MAX+1];
561         char in[OPT_LEN_MAX+1];
562         char *outptr = out;
563         char *inptr = in;
564         char *ch1, *ch2, *env;
565         ssize_t nchr = OPT_LEN_MAX;
566         size_t envlen;
567
568         in[OPT_LEN_MAX] = '\0';
569         strncpy(in, opt, OPT_LEN_MAX);
570
571         while (*inptr && nchr > 0) {
572                 if (inptr[0] == '$' && inptr[1] == '{') {
573                         ch2 = strchr(inptr, '}');
574                         if (ch2 && inptr+1 < ch2) {
575                                 ch1 = inptr+2;
576                                 inptr = ch2+1;
577                                 *ch2 = '\0';
578
579                                 env = getenv(ch1);
580                                 if (env) {
581                                         envlen = strlen(env);
582                                         if (envlen <= nchr) {
583                                                 memcpy(outptr, env, envlen);
584                                                 outptr += envlen;
585                                                 nchr -= envlen;
586                                         }
587                                 }
588
589                                 continue;
590                         }
591                 }
592
593                 *outptr++ = *inptr++;
594                 --nchr;
595         }
596
597         *outptr = '\0';
598         return strdup(out);
599 }
600
601 int parse_option(const char *opt, struct fio_option *options, void *data)
602 {
603         struct fio_option *o;
604         char *post, *tmp;
605
606         tmp = option_dup_subs(opt);
607
608         o = get_option(tmp, options, &post);
609         if (!o) {
610                 fprintf(stderr, "Bad option <%s>\n", tmp);
611                 free(tmp);
612                 return 1;
613         }
614
615         if (!handle_option(o, post, data)) {
616                 free(tmp);
617                 return 0;
618         }
619
620         fprintf(stderr, "fio: failed parsing %s\n", opt);
621         free(tmp);
622         return 1;
623 }
624
625 /*
626  * Option match, levenshtein distance. Handy for not quite remembering what
627  * the option name is.
628  */
629 static int string_distance(const char *s1, const char *s2)
630 {
631         unsigned int s1_len = strlen(s1);
632         unsigned int s2_len = strlen(s2);
633         unsigned int *p, *q, *r;
634         unsigned int i, j;
635
636         p = malloc(sizeof(unsigned int) * (s2_len + 1));
637         q = malloc(sizeof(unsigned int) * (s2_len + 1));
638
639         p[0] = 0;
640         for (i = 1; i <= s2_len; i++)
641                 p[i] = p[i - 1] + 1;
642
643         for (i = 1; i <= s1_len; i++) {
644                 q[0] = p[0] + 1;
645                 for (j = 1; j <= s2_len; j++) {
646                         unsigned int sub = p[j - 1];
647
648                         if (s1[i - 1] != s2[j - 1])
649                                 sub++;
650
651                         q[j] = min(p[j] + 1, min(q[j - 1] + 1, sub));
652                 }
653                 r = p;
654                 p = q;
655                 q = r;
656         }
657
658         i = p[s2_len];
659         free(p);
660         free(q);
661         return i;
662 }
663
664 static void show_option_help(struct fio_option *o)
665 {
666         const char *typehelp[] = {
667                 "string (opt=bla)",
668                 "string with possible k/m/g postfix (opt=4k)",
669                 "string with range and postfix (opt=1k-4k)",
670                 "string with time postfix (opt=10s)",
671                 "string (opt=bla)",
672                 "string with dual range (opt=1k-4k,4k-8k)",
673                 "integer value (opt=100)",
674                 "boolean value (opt=1)",
675                 "no argument (opt)",
676         };
677
678         if (o->alias)
679                 printf("%20s: %s\n", "alias", o->alias);
680
681         printf("%20s: %s\n", "type", typehelp[o->type]);
682         printf("%20s: %s\n", "default", o->def ? o->def : "no default");
683         show_option_range(o);
684         show_option_values(o);
685 }
686
687 static struct fio_option *find_child(struct fio_option *options,
688                                      struct fio_option *o)
689 {
690         struct fio_option *__o;
691
692         for (__o = options + 1; __o->name; __o++)
693                 if (__o->parent && !strcmp(__o->parent, o->name))
694                         return __o;
695
696         return NULL;
697 }
698
699 static void __print_option(struct fio_option *o, struct fio_option *org,
700                            int level)
701 {
702         char name[256], *p;
703         int depth;
704
705         if (!o)
706                 return;
707         if (!org)
708                 org = o;
709
710         p = name;
711         depth = level;
712         while (depth--)
713                 p += sprintf(p, "%s", "  ");
714
715         sprintf(p, "%s", o->name);
716
717         printf("%-24s: %s\n", name, o->help);
718 }
719
720 static void print_option(struct fio_option *o)
721 {
722         struct fio_option *parent;
723         struct fio_option *__o;
724         unsigned int printed;
725         unsigned int level;
726
727         __print_option(o, NULL, 0);
728         parent = o;
729         level = 0;
730         do {
731                 level++;
732                 printed = 0;
733
734                 while ((__o = find_child(o, parent)) != NULL) {
735                         __print_option(__o, o, level);
736                         o = __o;
737                         printed++;
738                 }
739
740                 parent = o;
741         } while (printed);
742 }
743
744 int show_cmd_help(struct fio_option *options, const char *name)
745 {
746         struct fio_option *o, *closest;
747         unsigned int best_dist;
748         int found = 0;
749         int show_all = 0;
750
751         if (!name || !strcmp(name, "all"))
752                 show_all = 1;
753
754         closest = NULL;
755         best_dist = -1;
756         for (o = &options[0]; o->name; o++) {
757                 int match = 0;
758
759                 if (o->type == FIO_OPT_DEPRECATED)
760                         continue;
761
762                 if (name) {
763                         if (!strcmp(name, o->name) ||
764                             (o->alias && !strcmp(name, o->alias)))
765                                 match = 1;
766                         else {
767                                 unsigned int dist;
768
769                                 dist = string_distance(name, o->name);
770                                 if (dist < best_dist) {
771                                         best_dist = dist;
772                                         closest = o;
773                                 }
774                         }
775                 }
776
777                 if (show_all || match) {
778                         found = 1;
779                         if (match)
780                                 printf("%24s: %s\n", o->name, o->help);
781                         if (show_all) {
782                                 if (!o->parent)
783                                         print_option(o);
784                                 continue;
785                         }
786                 }
787
788                 if (!match)
789                         continue;
790
791                 show_option_help(o);
792         }
793
794         if (found)
795                 return 0;
796
797         printf("No such command: %s", name);
798         if (closest) {
799                 printf(" - showing closest match\n");
800                 printf("%20s: %s\n", closest->name, closest->help);
801                 show_option_help(closest);
802         } else
803                 printf("\n");
804
805         return 1;
806 }
807
808 /*
809  * Handle parsing of default parameters.
810  */
811 void fill_default_options(void *data, struct fio_option *options)
812 {
813         struct fio_option *o;
814
815         dprint(FD_PARSE, "filling default options\n");
816
817         for (o = &options[0]; o->name; o++)
818                 if (o->def)
819                         handle_option(o, o->def, data);
820 }
821
822 /*
823  * Sanitize the options structure. For now it just sets min/max for bool
824  * values and whether both callback and offsets are given.
825  */
826 void options_init(struct fio_option *options)
827 {
828         struct fio_option *o;
829
830         dprint(FD_PARSE, "init options\n");
831
832         for (o = &options[0]; o->name; o++) {
833                 if (o->type == FIO_OPT_DEPRECATED)
834                         continue;
835                 if (o->type == FIO_OPT_BOOL) {
836                         o->minval = 0;
837                         o->maxval = 1;
838                 }
839                 if (o->type == FIO_OPT_STR_SET && o->def) {
840                         fprintf(stderr, "Option %s: string set option with"
841                                         " default will always be true\n",
842                                                 o->name);
843                 }
844                 if (!o->cb && !o->off1) {
845                         fprintf(stderr, "Option %s: neither cb nor offset"
846                                         " given\n", o->name);
847                 }
848                 if (o->type == FIO_OPT_STR || o->type == FIO_OPT_STR_STORE)
849                         continue;
850                 if (o->cb && (o->off1 || o->off2 || o->off3 || o->off4)) {
851                         fprintf(stderr, "Option %s: both cb and offset given\n",
852                                                                  o->name);
853                 }
854         }
855 }