4 * IO engine using Ceph's RADOS interface to test low-level performance of
9 #include <rados/librados.h>
12 #include "../optgroup.h"
14 struct fio_rados_iou {
15 struct thread_data *td;
17 rados_completion_t completion;
18 rados_write_op_t write_op;
24 struct io_u **aio_events;
28 /* fio configuration options read from the job file */
29 struct rados_options {
37 static struct fio_option options[] = {
39 .name = "clustername",
40 .lname = "ceph cluster name",
41 .type = FIO_OPT_STR_STORE,
42 .help = "Cluster name for ceph",
43 .off1 = offsetof(struct rados_options, cluster_name),
44 .category = FIO_OPT_C_ENGINE,
45 .group = FIO_OPT_G_RBD,
49 .lname = "pool name to use",
50 .type = FIO_OPT_STR_STORE,
51 .help = "Ceph pool name to benchmark against",
52 .off1 = offsetof(struct rados_options, pool_name),
53 .category = FIO_OPT_C_ENGINE,
54 .group = FIO_OPT_G_RBD,
58 .lname = "rados engine clientname",
59 .type = FIO_OPT_STR_STORE,
60 .help = "Name of the ceph client to access RADOS engine",
61 .off1 = offsetof(struct rados_options, client_name),
62 .category = FIO_OPT_C_ENGINE,
63 .group = FIO_OPT_G_RBD,
67 .lname = "busy poll mode",
69 .help = "Busy poll for completions instead of sleeping",
70 .off1 = offsetof(struct rados_options, busy_poll),
72 .category = FIO_OPT_C_ENGINE,
73 .group = FIO_OPT_G_RBD,
80 static int _fio_setup_rados_data(struct thread_data *td,
81 struct rados_data **rados_data_ptr)
83 struct rados_data *rados;
88 rados = calloc(1, sizeof(struct rados_data));
92 rados->connected = false;
94 rados->aio_events = calloc(td->o.iodepth, sizeof(struct io_u *));
95 if (!rados->aio_events)
97 *rados_data_ptr = rados;
102 if (rados->aio_events)
103 free(rados->aio_events);
109 static void _fio_rados_rm_objects(struct thread_data *td, struct rados_data *rados)
112 for (i = 0; i < td->o.nr_files; i++) {
113 struct fio_file *f = td->files[i];
114 rados_remove(rados->io_ctx, f->file_name);
118 static int _fio_rados_connect(struct thread_data *td)
120 struct rados_data *rados = td->io_ops_data;
121 struct rados_options *o = td->eo;
123 const uint64_t file_size =
124 td->o.size / (td->o.nr_files ? td->o.nr_files : 1u);
128 if (o->cluster_name) {
129 char *client_name = NULL;
132 * If we specify cluser name, the rados_create2
133 * will not assume 'client.'. name is considered
134 * as a full type.id namestr
136 if (o->client_name) {
137 if (!index(o->client_name, '.')) {
138 client_name = calloc(1, strlen("client.") +
139 strlen(o->client_name) + 1);
140 strcat(client_name, "client.");
141 strcat(client_name, o->client_name);
143 client_name = o->client_name;
147 r = rados_create2(&rados->cluster, o->cluster_name,
150 if (client_name && !index(o->client_name, '.'))
153 r = rados_create(&rados->cluster, o->client_name);
155 if (o->pool_name == NULL) {
156 log_err("rados pool name must be provided.\n");
161 log_err("rados_create failed.\n");
165 r = rados_conf_read_file(rados->cluster, NULL);
167 log_err("rados_conf_read_file failed.\n");
171 r = rados_connect(rados->cluster);
173 log_err("rados_connect failed.\n");
177 r = rados_ioctx_create(rados->cluster, o->pool_name, &rados->io_ctx);
179 log_err("rados_ioctx_create failed.\n");
180 goto failed_shutdown;
183 for (i = 0; i < td->o.nr_files; i++) {
185 f->real_file_size = file_size;
186 r = rados_write(rados->io_ctx, f->file_name, "", 0, 0);
188 goto failed_obj_create;
194 _fio_rados_rm_objects(td, rados);
195 rados_ioctx_destroy(rados->io_ctx);
196 rados->io_ctx = NULL;
198 rados_shutdown(rados->cluster);
199 rados->cluster = NULL;
204 static void _fio_rados_disconnect(struct rados_data *rados)
210 rados_ioctx_destroy(rados->io_ctx);
211 rados->io_ctx = NULL;
214 if (rados->cluster) {
215 rados_shutdown(rados->cluster);
216 rados->cluster = NULL;
220 static void fio_rados_cleanup(struct thread_data *td)
222 struct rados_data *rados = td->io_ops_data;
225 _fio_rados_rm_objects(td, rados);
226 _fio_rados_disconnect(rados);
227 free(rados->aio_events);
232 static enum fio_q_status fio_rados_queue(struct thread_data *td,
235 struct rados_data *rados = td->io_ops_data;
236 struct fio_rados_iou *fri = io_u->engine_data;
237 char *object = io_u->file->file_name;
240 fio_ro_check(td, io_u);
242 if (io_u->ddir == DDIR_WRITE) {
243 r = rados_aio_create_completion(fri, NULL,
244 NULL, &fri->completion);
246 log_err("rados_aio_create_completion failed.\n");
250 r = rados_aio_write(rados->io_ctx, object, fri->completion,
251 io_u->xfer_buf, io_u->xfer_buflen, io_u->offset);
253 log_err("rados_write failed.\n");
257 } else if (io_u->ddir == DDIR_READ) {
258 r = rados_aio_create_completion(fri, NULL,
259 NULL, &fri->completion);
261 log_err("rados_aio_create_completion failed.\n");
264 r = rados_aio_read(rados->io_ctx, object, fri->completion,
265 io_u->xfer_buf, io_u->xfer_buflen, io_u->offset);
267 log_err("rados_aio_read failed.\n");
271 } else if (io_u->ddir == DDIR_TRIM) {
272 r = rados_aio_create_completion(fri, NULL,
273 NULL , &fri->completion);
275 log_err("rados_aio_create_completion failed.\n");
278 fri->write_op = rados_create_write_op();
279 if (fri->write_op == NULL) {
280 log_err("rados_create_write_op failed.\n");
283 rados_write_op_zero(fri->write_op, io_u->offset,
285 r = rados_aio_write_op_operate(fri->write_op, rados->io_ctx,
286 fri->completion, object, NULL, 0);
288 log_err("rados_aio_write_op_operate failed.\n");
289 goto failed_write_op;
294 log_err("WARNING: Only DDIR_READ, DDIR_WRITE and DDIR_TRIM are supported!");
297 rados_release_write_op(fri->write_op);
299 rados_aio_release(fri->completion);
302 td_verror(td, io_u->error, "xfer");
303 return FIO_Q_COMPLETED;
306 static struct io_u *fio_rados_event(struct thread_data *td, int event)
308 struct rados_data *rados = td->io_ops_data;
309 return rados->aio_events[event];
312 int fio_rados_getevents(struct thread_data *td, unsigned int min,
313 unsigned int max, const struct timespec *t)
315 struct rados_data *rados = td->io_ops_data;
316 struct rados_options *o = td->eo;
317 int busy_poll = o->busy_poll;
318 unsigned int events = 0;
320 struct fio_rados_iou *fri;
322 rados_completion_t first_unfinished;
323 int observed_new = 0;
325 /* loop through inflight ios until we find 'min' completions */
327 first_unfinished = NULL;
328 io_u_qiter(&td->io_u_all, u, i) {
329 if (!(u->flags & IO_U_F_FLIGHT))
332 fri = u->engine_data;
333 if (fri->completion) {
334 if (rados_aio_is_complete(fri->completion)) {
335 if (fri->write_op != NULL) {
336 rados_release_write_op(fri->write_op);
337 fri->write_op = NULL;
339 rados_aio_release(fri->completion);
340 fri->completion = NULL;
341 rados->aio_events[events] = u;
344 } else if (first_unfinished == NULL) {
345 first_unfinished = fri->completion;
353 if (first_unfinished == NULL || busy_poll)
357 rados_aio_wait_for_complete(first_unfinished);
362 static int fio_rados_setup(struct thread_data *td)
364 struct rados_data *rados = NULL;
366 /* allocate engine specific structure to deal with librados. */
367 r = _fio_setup_rados_data(td, &rados);
369 log_err("fio_setup_rados_data failed.\n");
372 td->io_ops_data = rados;
374 /* Force single process mode.
376 td->o.use_thread = 1;
378 /* connect in the main thread to determine to determine
379 * the size of the given RADOS block device. And disconnect
382 r = _fio_rados_connect(td);
384 log_err("fio_rados_connect failed.\n");
387 rados->connected = true;
391 fio_rados_cleanup(td);
395 /* open/invalidate are noops. we set the FIO_DISKLESSIO flag in ioengine_ops to
396 prevent fio from creating the files
398 static int fio_rados_open(struct thread_data *td, struct fio_file *f)
402 static int fio_rados_invalidate(struct thread_data *td, struct fio_file *f)
407 static void fio_rados_io_u_free(struct thread_data *td, struct io_u *io_u)
409 struct fio_rados_iou *fri = io_u->engine_data;
412 io_u->engine_data = NULL;
415 rados_aio_release(fri->completion);
417 rados_release_write_op(fri->write_op);
422 static int fio_rados_io_u_init(struct thread_data *td, struct io_u *io_u)
424 struct fio_rados_iou *fri;
425 fri = calloc(1, sizeof(*fri));
428 io_u->engine_data = fri;
432 /* ioengine_ops for get_ioengine() */
433 static struct ioengine_ops ioengine = {
435 .version = FIO_IOOPS_VERSION,
436 .flags = FIO_DISKLESSIO,
437 .setup = fio_rados_setup,
438 .queue = fio_rados_queue,
439 .getevents = fio_rados_getevents,
440 .event = fio_rados_event,
441 .cleanup = fio_rados_cleanup,
442 .open_file = fio_rados_open,
443 .invalidate = fio_rados_invalidate,
445 .io_u_init = fio_rados_io_u_init,
446 .io_u_free = fio_rados_io_u_free,
447 .option_struct_size = sizeof(struct rados_options),
450 static void fio_init fio_rados_register(void)
452 register_ioengine(&ioengine);
455 static void fio_exit fio_rados_unregister(void)
457 unregister_ioengine(&ioengine);