Get rid of (now) unused rate_throttle()
[fio.git] / parse.c
1 /*
2  * This file contains the ini and command liner parser main.
3  */
4 #include <stdio.h>
5 #include <stdlib.h>
6 #include <unistd.h>
7 #include <ctype.h>
8 #include <string.h>
9 #include <errno.h>
10 #include <limits.h>
11 #include <stdlib.h>
12
13 #include "parse.h"
14 #include "debug.h"
15
16 static struct fio_option *fio_options;
17
18 static int vp_cmp(const void *p1, const void *p2)
19 {
20         const struct value_pair *vp1 = p1;
21         const struct value_pair *vp2 = p2;
22
23         return strlen(vp2->ival) - strlen(vp1->ival);
24 }
25
26 static void posval_sort(struct fio_option *o, struct value_pair *vpmap)
27 {
28         const struct value_pair *vp;
29         int entries;
30
31         memset(vpmap, 0, PARSE_MAX_VP * sizeof(struct value_pair));
32
33         for (entries = 0; entries < PARSE_MAX_VP; entries++) {
34                 vp = &o->posval[entries];
35                 if (!vp->ival || vp->ival[0] == '\0')
36                         break;
37
38                 memcpy(&vpmap[entries], vp, sizeof(*vp));
39         }
40
41         qsort(vpmap, entries, sizeof(struct value_pair), vp_cmp);
42 }
43
44 static void show_option_range(struct fio_option *o)
45 {
46         if (!o->minval && !o->maxval)
47                 return;
48
49         printf("%20s: min=%d, max=%d\n", "range", o->minval, o->maxval);
50 }
51
52 static void show_option_values(struct fio_option *o)
53 {
54         int i = 0;
55
56         do {
57                 const struct value_pair *vp = &o->posval[i];
58
59                 if (!vp->ival)
60                         break;
61
62                 printf("%20s: %-10s", i == 0 ? "valid values" : "", vp->ival);
63                 if (vp->help)
64                         printf(" %s", vp->help);
65                 printf("\n");
66                 i++;
67         } while (i < PARSE_MAX_VP);
68
69         if (i)
70                 printf("\n");
71 }
72
73 static unsigned long get_mult_time(char c)
74 {
75         switch (c) {
76         case 'm':
77         case 'M':
78                 return 60;
79         case 'h':
80         case 'H':
81                 return 60 * 60;
82         case 'd':
83         case 'D':
84                 return 24 * 60 * 60;
85         default:
86                 return 1;
87         }
88 }
89
90 static unsigned long get_mult_bytes(char c)
91 {
92         switch (c) {
93         case 'k':
94         case 'K':
95                 return 1024;
96         case 'm':
97         case 'M':
98                 return 1024 * 1024;
99         case 'g':
100         case 'G':
101                 return 1024 * 1024 * 1024;
102         case 'e':
103         case 'E':
104                 return 1024 * 1024 * 1024 * 1024UL;
105         default:
106                 return 1;
107         }
108 }
109
110 /*
111  * convert string into decimal value, noting any size suffix
112  */
113 int str_to_decimal(const char *str, long long *val, int kilo)
114 {
115         int len, base;
116
117         len = strlen(str);
118         if (!len)
119                 return 1;
120
121         if (strstr(str, "0x") || strstr(str, "0X"))
122                 base = 16;
123         else
124                 base = 10;
125
126         *val = strtoll(str, NULL, base);
127         if (*val == LONG_MAX && errno == ERANGE)
128                 return 1;
129
130         if (kilo)
131                 *val *= get_mult_bytes(str[len - 1]);
132         else
133                 *val *= get_mult_time(str[len - 1]);
134
135         return 0;
136 }
137
138 static int check_str_bytes(const char *p, long long *val)
139 {
140         return str_to_decimal(p, val, 1);
141 }
142
143 static int check_str_time(const char *p, long long *val)
144 {
145         return str_to_decimal(p, val, 0);
146 }
147
148 void strip_blank_front(char **p)
149 {
150         char *s = *p;
151
152         while (isspace(*s))
153                 s++;
154
155         *p = s;
156 }
157
158 void strip_blank_end(char *p)
159 {
160         char *start = p, *s;
161
162         s = strchr(p, ';');
163         if (s)
164                 *s = '\0';
165         s = strchr(p, '#');
166         if (s)
167                 *s = '\0';
168         if (s)
169                 p = s;
170
171         s = p + strlen(p);
172         while ((isspace(*s) || iscntrl(*s)) && (s > start))
173                 s--;
174
175         *(s + 1) = '\0';
176 }
177
178 static int check_range_bytes(const char *str, long *val)
179 {
180         char suffix;
181
182         if (!strlen(str))
183                 return 1;
184
185         if (sscanf(str, "%lu%c", val, &suffix) == 2) {
186                 *val *= get_mult_bytes(suffix);
187                 return 0;
188         }
189
190         if (sscanf(str, "%lu", val) == 1)
191                 return 0;
192
193         return 1;
194 }
195
196 static int check_int(const char *p, int *val)
197 {
198         if (!strlen(p))
199                 return 1;
200         if (strstr(p, "0x") || strstr(p, "0X")) {
201                 if (sscanf(p, "%x", val) == 1)
202                         return 0;
203         } else {
204                 if (sscanf(p, "%u", val) == 1)
205                         return 0;
206         }
207
208         return 1;
209 }
210
211 static struct fio_option *find_option(struct fio_option *options,
212                                       const char *opt)
213 {
214         struct fio_option *o;
215
216         for (o = &options[0]; o->name; o++) {
217                 if (!strcmp(o->name, opt))
218                         return o;
219                 else if (o->alias && !strcmp(o->alias, opt))
220                         return o;
221         }
222
223         return NULL;
224 }
225
226 #define val_store(ptr, val, off, data)                  \
227         do {                                            \
228                 ptr = td_var((data), (off));            \
229                 *ptr = (val);                           \
230         } while (0)
231
232 static int __handle_option(struct fio_option *o, const char *ptr, void *data,
233                            int first, int more)
234 {
235         int il, *ilp;
236         long long ull, *ullp;
237         long ul1, ul2;
238         char **cp;
239         int ret = 0, is_time = 0;
240
241         dprint(FD_PARSE, "__handle_option=%s, type=%d, ptr=%s\n", o->name,
242                                                         o->type, ptr);
243
244         if (!ptr && o->type != FIO_OPT_STR_SET && o->type != FIO_OPT_STR) {
245                 fprintf(stderr, "Option %s requires an argument\n", o->name);
246                 return 1;
247         }
248
249         switch (o->type) {
250         case FIO_OPT_STR: {
251                 fio_opt_str_fn *fn = o->cb;
252                 const struct value_pair *vp;
253                 struct value_pair posval[PARSE_MAX_VP];
254                 int i;
255
256                 posval_sort(o, posval);
257
258                 for (i = 0; i < PARSE_MAX_VP; i++) {
259                         vp = &posval[i];
260                         if (!vp->ival || vp->ival[0] == '\0')
261                                 break;
262                         ret = 1;
263                         if (!strncmp(vp->ival, ptr, strlen(vp->ival))) {
264                                 ret = 0;
265                                 if (!o->off1)
266                                         break;
267                                 val_store(ilp, vp->oval, o->off1, data);
268                                 break;
269                         }
270                 }
271
272                 if (ret)
273                         show_option_values(o);
274                 else if (fn)
275                         ret = fn(data, ptr);
276                 break;
277         }
278         case FIO_OPT_STR_VAL_TIME:
279                 is_time = 1;
280         case FIO_OPT_INT:
281         case FIO_OPT_STR_VAL: {
282                 fio_opt_str_val_fn *fn = o->cb;
283
284                 if (is_time)
285                         ret = check_str_time(ptr, &ull);
286                 else
287                         ret = check_str_bytes(ptr, &ull);
288
289                 if (ret)
290                         break;
291
292                 if (o->maxval && ull > o->maxval) {
293                         fprintf(stderr, "max value out of range: %lld"
294                                         " (%d max)\n", ull, o->maxval);
295                         return 1;
296                 }
297                 if (o->minval && ull < o->minval) {
298                         fprintf(stderr, "min value out of range: %lld"
299                                         " (%d min)\n", ull, o->minval);
300                         return 1;
301                 }
302
303                 if (fn)
304                         ret = fn(data, &ull);
305                 else {
306                         if (o->type == FIO_OPT_INT) {
307                                 if (first)
308                                         val_store(ilp, ull, o->off1, data);
309                                 if (!more && o->off2)
310                                         val_store(ilp, ull, o->off2, data);
311                         } else {
312                                 if (first)
313                                         val_store(ullp, ull, o->off1, data);
314                                 if (!more && o->off2)
315                                         val_store(ullp, ull, o->off2, data);
316                         }
317                 }
318                 break;
319         }
320         case FIO_OPT_STR_STORE: {
321                 fio_opt_str_fn *fn = o->cb;
322
323                 cp = td_var(data, o->off1);
324                 *cp = strdup(ptr);
325                 if (fn) {
326                         ret = fn(data, ptr);
327                         if (ret) {
328                                 free(*cp);
329                                 *cp = NULL;
330                         }
331                 }
332                 break;
333         }
334         case FIO_OPT_RANGE: {
335                 char tmp[128];
336                 char *p1, *p2;
337
338                 strncpy(tmp, ptr, sizeof(tmp) - 1);
339
340                 p1 = strchr(tmp, '-');
341                 if (!p1) {
342                         p1 = strchr(tmp, ':');
343                         if (!p1) {
344                                 ret = 1;
345                                 break;
346                         }
347                 }
348
349                 p2 = p1 + 1;
350                 *p1 = '\0';
351                 p1 = tmp;
352
353                 ret = 1;
354                 if (!check_range_bytes(p1, &ul1) &&
355                     !check_range_bytes(p2, &ul2)) {
356                         ret = 0;
357                         if (ul1 > ul2) {
358                                 unsigned long foo = ul1;
359
360                                 ul1 = ul2;
361                                 ul2 = foo;
362                         }
363
364                         if (first) {
365                                 val_store(ilp, ul1, o->off1, data);
366                                 val_store(ilp, ul2, o->off2, data);
367                         }
368                         if (o->off3 && o->off4) {
369                                 val_store(ilp, ul1, o->off3, data);
370                                 val_store(ilp, ul2, o->off4, data);
371                         }
372                 }
373
374                 break;
375         }
376         case FIO_OPT_BOOL: {
377                 fio_opt_int_fn *fn = o->cb;
378
379                 ret = check_int(ptr, &il);
380                 if (ret)
381                         break;
382
383                 if (o->maxval && il > (int) o->maxval) {
384                         fprintf(stderr, "max value out of range: %d (%d max)\n",
385                                                                 il, o->maxval);
386                         return 1;
387                 }
388                 if (o->minval && il < o->minval) {
389                         fprintf(stderr, "min value out of range: %d (%d min)\n",
390                                                                 il, o->minval);
391                         return 1;
392                 }
393
394                 if (o->neg)
395                         il = !il;
396
397                 if (fn)
398                         ret = fn(data, &il);
399                 else {
400                         if (first)
401                                 val_store(ilp, il, o->off1, data);
402                         if (!more && o->off2)
403                                 val_store(ilp, il, o->off2, data);
404                 }
405                 break;
406         }
407         case FIO_OPT_STR_SET: {
408                 fio_opt_str_set_fn *fn = o->cb;
409
410                 if (fn)
411                         ret = fn(data);
412                 else {
413                         if (first)
414                                 val_store(ilp, 1, o->off1, data);
415                         if (!more && o->off2)
416                                 val_store(ilp, 1, o->off2, data);
417                 }
418                 break;
419         }
420         case FIO_OPT_DEPRECATED:
421                 fprintf(stdout, "Option %s is deprecated\n", o->name);
422                 break;
423         default:
424                 fprintf(stderr, "Bad option type %u\n", o->type);
425                 ret = 1;
426         }
427
428         return ret;
429 }
430
431 static int handle_option(struct fio_option *o, const char *__ptr, void *data)
432 {
433         char *ptr, *ptr2 = NULL;
434         int r1, r2;
435
436         dprint(FD_PARSE, "handle_option=%s, ptr=%s\n", o->name, __ptr);
437
438         ptr = NULL;
439         if (__ptr)
440                 ptr = strdup(__ptr);
441
442         /*
443          * See if we have a second set of parameters, hidden after a comma.
444          * Do this before parsing the first round, to check if we should
445          * copy set 1 options to set 2.
446          */
447         if (ptr &&
448             (o->type != FIO_OPT_STR_STORE) &&
449             (o->type != FIO_OPT_STR)) {
450                 ptr2 = strchr(ptr, ',');
451                 if (ptr2 && *(ptr2 + 1) == '\0')
452                         *ptr2 = '\0';
453                 if (!ptr2)
454                         ptr2 = strchr(ptr, ':');
455                 if (!ptr2)
456                         ptr2 = strchr(ptr, '-');
457         }
458
459         /*
460          * Don't return early if parsing the first option fails - if
461          * we are doing multiple arguments, we can allow the first one
462          * being empty.
463          */
464         r1 = __handle_option(o, ptr, data, 1, !!ptr2);
465
466         if (!ptr2) {
467                 if (ptr)
468                         free(ptr);
469                 return r1;
470         }
471
472         ptr2++;
473         r2 = __handle_option(o, ptr2, data, 0, 0);
474
475         if (ptr)
476                 free(ptr);
477         return r1 && r2;
478 }
479
480 static struct fio_option *get_option(const char *opt,
481                                      struct fio_option *options, char **post)
482 {
483         struct fio_option *o;
484         char *ret;
485
486         ret = strchr(opt, '=');
487         if (ret) {
488                 *post = ret;
489                 *ret = '\0';
490                 ret = (char *) opt;
491                 (*post)++;
492                 strip_blank_end(ret);
493                 o = find_option(options, ret);
494         } else {
495                 o = find_option(options, opt);
496                 *post = NULL;
497         }
498
499         return o;
500 }
501
502 static int opt_cmp(const void *p1, const void *p2)
503 {
504         struct fio_option *o1, *o2;
505         char *s1, *s2, *foo;
506         int prio1, prio2;
507
508         s1 = strdup(*((char **) p1));
509         s2 = strdup(*((char **) p2));
510
511         o1 = get_option(s1, fio_options, &foo);
512         o2 = get_option(s2, fio_options, &foo);
513         
514         prio1 = prio2 = 0;
515         if (o1)
516                 prio1 = o1->prio;
517         if (o2)
518                 prio2 = o2->prio;
519
520         free(s1);
521         free(s2);
522         return prio2 - prio1;
523 }
524
525 void sort_options(char **opts, struct fio_option *options, int num_opts)
526 {
527         fio_options = options;
528         qsort(opts, num_opts, sizeof(char *), opt_cmp);
529         fio_options = NULL;
530 }
531
532 int parse_cmd_option(const char *opt, const char *val,
533                      struct fio_option *options, void *data)
534 {
535         struct fio_option *o;
536
537         o = find_option(options, opt);
538         if (!o) {
539                 fprintf(stderr, "Bad option <%s>\n", opt);
540                 return 1;
541         }
542
543         if (!handle_option(o, val, data))
544                 return 0;
545
546         fprintf(stderr, "fio: failed parsing %s=%s\n", opt, val);
547         return 1;
548 }
549
550 /*
551  * Return a copy of the input string with substrings of the form ${VARNAME}
552  * substituted with the value of the environment variable VARNAME.  The
553  * substitution always occurs, even if VARNAME is empty or the corresponding
554  * environment variable undefined.
555  */
556 static char *option_dup_subs(const char *opt)
557 {
558         char out[OPT_LEN_MAX+1];
559         char in[OPT_LEN_MAX+1];
560         char *outptr = out;
561         char *inptr = in;
562         char *ch1, *ch2, *env;
563         ssize_t nchr = OPT_LEN_MAX;
564         size_t envlen;
565
566         in[OPT_LEN_MAX] = '\0';
567         strncpy(in, opt, OPT_LEN_MAX);
568
569         while (*inptr && nchr > 0) {
570                 if (inptr[0] == '$' && inptr[1] == '{') {
571                         ch2 = strchr(inptr, '}');
572                         if (ch2 && inptr+1 < ch2) {
573                                 ch1 = inptr+2;
574                                 inptr = ch2+1;
575                                 *ch2 = '\0';
576
577                                 env = getenv(ch1);
578                                 if (env) {
579                                         envlen = strlen(env);
580                                         if (envlen <= nchr) {
581                                                 memcpy(outptr, env, envlen);
582                                                 outptr += envlen;
583                                                 nchr -= envlen;
584                                         }
585                                 }
586
587                                 continue;
588                         }
589                 }
590
591                 *outptr++ = *inptr++;
592                 --nchr;
593         }
594
595         *outptr = '\0';
596         return strdup(out);
597 }
598
599 int parse_option(const char *opt, struct fio_option *options, void *data)
600 {
601         struct fio_option *o;
602         char *post, *tmp;
603
604         tmp = option_dup_subs(opt);
605
606         o = get_option(tmp, options, &post);
607         if (!o) {
608                 fprintf(stderr, "Bad option <%s>\n", tmp);
609                 free(tmp);
610                 return 1;
611         }
612
613         if (!handle_option(o, post, data)) {
614                 free(tmp);
615                 return 0;
616         }
617
618         fprintf(stderr, "fio: failed parsing %s\n", opt);
619         free(tmp);
620         return 1;
621 }
622
623 /*
624  * Option match, levenshtein distance. Handy for not quite remembering what
625  * the option name is.
626  */
627 static int string_distance(const char *s1, const char *s2)
628 {
629         unsigned int s1_len = strlen(s1);
630         unsigned int s2_len = strlen(s2);
631         unsigned int *p, *q, *r;
632         unsigned int i, j;
633
634         p = malloc(sizeof(unsigned int) * (s2_len + 1));
635         q = malloc(sizeof(unsigned int) * (s2_len + 1));
636
637         p[0] = 0;
638         for (i = 1; i <= s2_len; i++)
639                 p[i] = p[i - 1] + 1;
640
641         for (i = 1; i <= s1_len; i++) {
642                 q[0] = p[0] + 1;
643                 for (j = 1; j <= s2_len; j++) {
644                         unsigned int sub = p[j - 1];
645
646                         if (s1[i - 1] != s2[j - 1])
647                                 sub++;
648
649                         q[j] = min(p[j] + 1, min(q[j - 1] + 1, sub));
650                 }
651                 r = p;
652                 p = q;
653                 q = r;
654         }
655
656         i = p[s2_len];
657         free(p);
658         free(q);
659         return i;
660 }
661
662 static void show_option_help(struct fio_option *o)
663 {
664         const char *typehelp[] = {
665                 "string (opt=bla)",
666                 "string with possible k/m/g postfix (opt=4k)",
667                 "string with range and postfix (opt=1k-4k)",
668                 "string with time postfix (opt=10s)",
669                 "string (opt=bla)",
670                 "string with dual range (opt=1k-4k,4k-8k)",
671                 "integer value (opt=100)",
672                 "boolean value (opt=1)",
673                 "no argument (opt)",
674         };
675
676         if (o->alias)
677                 printf("%20s: %s\n", "alias", o->alias);
678
679         printf("%20s: %s\n", "type", typehelp[o->type]);
680         printf("%20s: %s\n", "default", o->def ? o->def : "no default");
681         show_option_range(o);
682         show_option_values(o);
683 }
684
685 static struct fio_option *find_child(struct fio_option *options,
686                                      struct fio_option *o)
687 {
688         struct fio_option *__o;
689
690         for (__o = options + 1; __o->name; __o++)
691                 if (__o->parent && !strcmp(__o->parent, o->name))
692                         return __o;
693
694         return NULL;
695 }
696
697 static void __print_option(struct fio_option *o, struct fio_option *org,
698                            int level)
699 {
700         char name[256], *p;
701         int depth;
702
703         if (!o)
704                 return;
705         if (!org)
706                 org = o;
707
708         p = name;
709         depth = level;
710         while (depth--)
711                 p += sprintf(p, "%s", "  ");
712
713         sprintf(p, "%s", o->name);
714
715         printf("%-24s: %s\n", name, o->help);
716 }
717
718 static void print_option(struct fio_option *o)
719 {
720         struct fio_option *parent;
721         struct fio_option *__o;
722         unsigned int printed;
723         unsigned int level;
724
725         __print_option(o, NULL, 0);
726         parent = o;
727         level = 0;
728         do {
729                 level++;
730                 printed = 0;
731
732                 while ((__o = find_child(o, parent)) != NULL) {
733                         __print_option(__o, o, level);
734                         o = __o;
735                         printed++;
736                 }
737
738                 parent = o;
739         } while (printed);
740 }
741
742 int show_cmd_help(struct fio_option *options, const char *name)
743 {
744         struct fio_option *o, *closest;
745         unsigned int best_dist;
746         int found = 0;
747         int show_all = 0;
748
749         if (!name || !strcmp(name, "all"))
750                 show_all = 1;
751
752         closest = NULL;
753         best_dist = -1;
754         for (o = &options[0]; o->name; o++) {
755                 int match = 0;
756
757                 if (o->type == FIO_OPT_DEPRECATED)
758                         continue;
759
760                 if (name) {
761                         if (!strcmp(name, o->name) ||
762                             (o->alias && !strcmp(name, o->alias)))
763                                 match = 1;
764                         else {
765                                 unsigned int dist;
766
767                                 dist = string_distance(name, o->name);
768                                 if (dist < best_dist) {
769                                         best_dist = dist;
770                                         closest = o;
771                                 }
772                         }
773                 }
774
775                 if (show_all || match) {
776                         found = 1;
777                         if (match)
778                                 printf("%24s: %s\n", o->name, o->help);
779                         if (show_all) {
780                                 if (!o->parent)
781                                         print_option(o);
782                                 continue;
783                         }
784                 }
785
786                 if (!match)
787                         continue;
788
789                 show_option_help(o);
790         }
791
792         if (found)
793                 return 0;
794
795         printf("No such command: %s", name);
796         if (closest) {
797                 printf(" - showing closest match\n");
798                 printf("%20s: %s\n", closest->name, closest->help);
799                 show_option_help(closest);
800         } else
801                 printf("\n");
802
803         return 1;
804 }
805
806 /*
807  * Handle parsing of default parameters.
808  */
809 void fill_default_options(void *data, struct fio_option *options)
810 {
811         struct fio_option *o;
812
813         dprint(FD_PARSE, "filling default options\n");
814
815         for (o = &options[0]; o->name; o++)
816                 if (o->def)
817                         handle_option(o, o->def, data);
818 }
819
820 /*
821  * Sanitize the options structure. For now it just sets min/max for bool
822  * values and whether both callback and offsets are given.
823  */
824 void options_init(struct fio_option *options)
825 {
826         struct fio_option *o;
827
828         dprint(FD_PARSE, "init options\n");
829
830         for (o = &options[0]; o->name; o++) {
831                 if (o->type == FIO_OPT_DEPRECATED)
832                         continue;
833                 if (o->type == FIO_OPT_BOOL) {
834                         o->minval = 0;
835                         o->maxval = 1;
836                 }
837                 if (o->type == FIO_OPT_STR_SET && o->def) {
838                         fprintf(stderr, "Option %s: string set option with"
839                                         " default will always be true\n",
840                                                 o->name);
841                 }
842                 if (!o->cb && !o->off1) {
843                         fprintf(stderr, "Option %s: neither cb nor offset"
844                                         " given\n", o->name);
845                 }
846                 if (o->type == FIO_OPT_STR || o->type == FIO_OPT_STR_STORE)
847                         continue;
848                 if (o->cb && (o->off1 || o->off2 || o->off3 || o->off4)) {
849                         fprintf(stderr, "Option %s: both cb and offset given\n",
850                                                                  o->name);
851                 }
852         }
853 }