dedupe: default to using a bloom filter to save memory
[fio.git] / Makefile
1 ifneq ($(wildcard config-host.mak),)
2 all:
3 include config-host.mak
4 config-host-mak: configure
5         @echo $@ is out-of-date, running configure
6         @sed -n "/.*Configured with/s/[^:]*: //p" $@ | sh
7 else
8 config-host.mak:
9 ifneq ($(MAKECMDGOALS),clean)
10         @echo "Running configure for you..."
11         @./configure
12 endif
13 all:
14 include config-host.mak
15 endif
16
17 DEBUGFLAGS = -D_FORTIFY_SOURCE=2 -DFIO_INC_DEBUG
18 CPPFLAGS= -D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64 -DFIO_INTERNAL $(DEBUGFLAGS)
19 OPTFLAGS= -O3 -g -ffast-math
20 CFLAGS  = -std=gnu99 -Wwrite-strings -Wall -Wdeclaration-after-statement $(OPTFLAGS) $(EXTFLAGS) $(BUILD_CFLAGS)
21 LIBS    += -lm $(EXTLIBS)
22 PROGS   = fio
23 SCRIPTS = tools/fio_generate_plots tools/plot/fio2gnuplot tools/genfio
24
25 ifdef CONFIG_GFIO
26   PROGS += gfio
27 endif
28
29 SOURCE := gettime.c ioengines.c init.c stat.c log.c time.c filesetup.c \
30                 eta.c verify.c memory.c io_u.c parse.c mutex.c options.c \
31                 lib/rbtree.c smalloc.c filehash.c profile.c debug.c lib/rand.c \
32                 lib/num2str.c lib/ieee754.c $(wildcard crc/*.c) engines/cpu.c \
33                 engines/mmap.c engines/sync.c engines/null.c engines/net.c \
34                 memalign.c server.c client.c iolog.c backend.c libfio.c flow.c \
35                 cconv.c lib/prio_tree.c json.c lib/zipf.c lib/axmap.c \
36                 lib/lfsr.c gettime-thread.c helpers.c lib/flist_sort.c \
37                 lib/hweight.c lib/getrusage.c idletime.c td_error.c \
38                 profiles/tiobench.c profiles/act.c io_u_queue.c filelock.c \
39                 lib/tp.c lib/bloom.c
40
41 ifdef CONFIG_LIBHDFS
42   HDFSFLAGS= -I $(JAVA_HOME)/include -I $(JAVA_HOME)/include/linux -I $(FIO_LIBHDFS_INCLUDE)
43   HDFSLIB= $(JAVA_HOME)/jre/lib/amd64/server/libjvm.so $(FIO_LIBHDFS_LIB)/liblibhdfs.a
44   CFLAGS += $(HDFSFLAGS)
45   SOURCE += engines/libhdfs.c
46 endif
47
48 ifdef CONFIG_64BIT_LLP64
49   CFLAGS += -DBITS_PER_LONG=32
50 endif
51 ifdef CONFIG_64BIT
52   CFLAGS += -DBITS_PER_LONG=64
53 endif
54 ifdef CONFIG_32BIT
55   CFLAGS += -DBITS_PER_LONG=32
56 endif
57 ifdef CONFIG_LIBAIO
58   SOURCE += engines/libaio.c
59 endif
60 ifdef CONFIG_RDMA
61   SOURCE += engines/rdma.c
62 endif
63 ifdef CONFIG_POSIXAIO
64   SOURCE += engines/posixaio.c
65 endif
66 ifdef CONFIG_LINUX_FALLOCATE
67   SOURCE += engines/falloc.c
68 endif
69 ifdef CONFIG_LINUX_EXT4_MOVE_EXTENT
70   SOURCE += engines/e4defrag.c
71 endif
72 ifdef CONFIG_LINUX_SPLICE
73   SOURCE += engines/splice.c
74 endif
75 ifdef CONFIG_GUASI
76   SOURCE += engines/guasi.c
77 endif
78 ifdef CONFIG_FUSION_AW
79   SOURCE += engines/fusion-aw.c
80 endif
81 ifdef CONFIG_SOLARISAIO
82   SOURCE += engines/solarisaio.c
83 endif
84 ifdef CONFIG_WINDOWSAIO
85   SOURCE += engines/windowsaio.c
86 endif
87 ifdef CONFIG_RBD
88   SOURCE += engines/rbd.c
89 endif
90 ifndef CONFIG_STRSEP
91   SOURCE += lib/strsep.c
92 endif
93 ifndef CONFIG_STRCASESTR
94   SOURCE += lib/strcasestr.c
95 endif
96 ifndef CONFIG_GETOPT_LONG_ONLY
97   SOURCE += lib/getopt_long.c
98 endif
99 ifndef CONFIG_INET_ATON
100   SOURCE += lib/inet_aton.c
101 endif
102 ifdef CONFIG_GFAPI
103   SOURCE += engines/glusterfs.c
104   SOURCE += engines/glusterfs_sync.c
105   SOURCE += engines/glusterfs_async.c
106   ifdef CONFIG_GF_FADVISE
107     CFLAGS += "-DGFAPI_USE_FADVISE"
108   endif
109 endif
110
111 ifeq ($(CONFIG_TARGET_OS), Linux)
112   SOURCE += diskutil.c fifo.c blktrace.c cgroup.c trim.c engines/sg.c \
113                 engines/binject.c lib/linux-dev-lookup.c
114   LIBS += -lpthread -ldl
115   LDFLAGS += -rdynamic
116 endif
117 ifeq ($(CONFIG_TARGET_OS), Android)
118   SOURCE += diskutil.c fifo.c blktrace.c trim.c profiles/tiobench.c \
119                 lib/linux-dev-lookup.c
120   LIBS += -ldl
121   LDFLAGS += -rdynamic
122 endif
123 ifeq ($(CONFIG_TARGET_OS), SunOS)
124   LIBS   += -lpthread -ldl
125   CPPFLAGS += -D__EXTENSIONS__
126 endif
127 ifeq ($(CONFIG_TARGET_OS), FreeBSD)
128   LIBS   += -lpthread -lrt
129   LDFLAGS += -rdynamic
130 endif
131 ifeq ($(CONFIG_TARGET_OS), OpenBSD)
132   LIBS   += -lpthread
133   LDFLAGS += -rdynamic
134 endif
135 ifeq ($(CONFIG_TARGET_OS), NetBSD)
136   LIBS   += -lpthread -lrt
137   LDFLAGS += -rdynamic
138 endif
139 ifeq ($(CONFIG_TARGET_OS), AIX)
140   LIBS   += -lpthread -ldl -lrt
141   CPPFLAGS += -D_LARGE_FILES -D__ppc__
142   LDFLAGS += -L/opt/freeware/lib -Wl,-blibpath:/opt/freeware/lib:/usr/lib:/lib -Wl,-bmaxdata:0x80000000
143 endif
144 ifeq ($(CONFIG_TARGET_OS), HP-UX)
145   LIBS   += -lpthread -ldl -lrt
146   CFLAGS += -D_LARGEFILE64_SOURCE -D_XOPEN_SOURCE_EXTENDED
147 endif
148 ifeq ($(CONFIG_TARGET_OS), Darwin)
149   LIBS   += -lpthread -ldl
150 endif
151 ifneq (,$(findstring CYGWIN,$(CONFIG_TARGET_OS)))
152   SOURCE := $(filter-out engines/mmap.c,$(SOURCE))
153   SOURCE += os/windows/posix.c
154   LIBS   += -lpthread -lpsapi -lws2_32
155   CFLAGS += -DPSAPI_VERSION=1 -Ios/windows/posix/include -Wno-format -static
156 endif
157
158 OBJS = $(SOURCE:.c=.o)
159
160 FIO_OBJS = $(OBJS) fio.o
161 GFIO_OBJS = $(OBJS) gfio.o graph.o tickmarks.o ghelpers.o goptions.o gerror.o \
162                         gclient.o gcompat.o cairo_text_helpers.o printing.o
163
164 -include $(OBJS:.o=.d)
165
166 T_SMALLOC_OBJS = t/stest.o
167 T_SMALLOC_OBJS += gettime.o mutex.o smalloc.o t/log.o
168 T_SMALLOC_PROGS = t/stest
169
170 T_IEEE_OBJS = t/ieee754.o
171 T_IEEE_OBJS += lib/ieee754.o
172 T_IEEE_PROGS = t/ieee754
173
174 T_ZIPF_OBS = t/genzipf.o
175 T_ZIPF_OBJS += t/log.o lib/ieee754.o lib/rand.o lib/zipf.o t/genzipf.o
176 T_ZIPF_PROGS = t/genzipf
177
178 T_AXMAP_OBJS = t/axmap.o
179 T_AXMAP_OBJS += lib/lfsr.o lib/axmap.o
180 T_AXMAP_PROGS = t/axmap
181
182 T_LFSR_TEST_OBJS = t/lfsr-test.o
183 T_LFSR_TEST_OBJS += lib/lfsr.o
184 T_LFSR_TEST_PROGS = t/lfsr-test
185
186 ifeq ($(CONFIG_TARGET_OS), Linux)
187 T_BTRACE_FIO_OBJS = t/btrace2fio.o
188 T_BTRACE_FIO_OBJS += fifo.o lib/flist_sort.o t/log.o lib/linux-dev-lookup.o
189 T_BTRACE_FIO_PROGS = t/btrace2fio
190 endif
191
192 ifeq ($(CONFIG_TARGET_OS), Linux)
193 T_DEDUPE_OBJS = t/dedupe.o
194 T_DEDUPE_OBJS += lib/rbtree.o t/log.o mutex.o smalloc.o gettime.o crc/md5.o \
195                 memalign.o lib/bloom.o
196 T_DEDUPE_PROGS = t/dedupe
197 endif
198
199 T_OBJS = $(T_SMALLOC_OBJS)
200 T_OBJS += $(T_IEEE_OBJS)
201 T_OBJS += $(T_ZIPF_OBJS)
202 T_OBJS += $(T_AXMAP_OBJS)
203 T_OBJS += $(T_LFSR_TEST_OBJS)
204 T_OBJS += $(T_BTRACE_FIO_OBJS)
205 T_OBJS += $(T_DEDUPE_OBJS)
206
207 T_PROGS = $(T_SMALLOC_PROGS)
208 T_PROGS += $(T_IEEE_PROGS)
209 T_PROGS += $(T_ZIPF_PROGS)
210 T_PROGS += $(T_AXMAP_PROGS)
211 T_PROGS += $(T_LFSR_TEST_PROGS)
212 T_PROGS += $(T_BTRACE_FIO_PROGS)
213 T_PROGS += $(T_DEDUPE_PROGS)
214
215 PROGS += $(T_PROGS)
216
217 ifneq ($(findstring $(MAKEFLAGS),s),s)
218 ifndef V
219         QUIET_CC        = @echo '   ' CC $@;
220         QUIET_LINK      = @echo '   ' LINK $@;
221         QUIET_DEP       = @echo '   ' DEP $@;
222 endif
223 endif
224
225 ifeq ($(CONFIG_TARGET_OS), SunOS)
226         INSTALL = ginstall
227 else
228         INSTALL = install
229 endif
230 prefix = /usr/local
231 bindir = $(prefix)/bin
232
233 ifeq ($(CONFIG_TARGET_OS), Darwin)
234 mandir = /usr/share/man
235 sharedir = /usr/share/fio
236 else
237 mandir = $(prefix)/man
238 sharedir = $(prefix)/share/fio
239 endif
240
241 all: $(PROGS) $(SCRIPTS) FORCE
242
243 .PHONY: all install clean
244 .PHONY: FORCE cscope
245
246 FIO-VERSION-FILE: FORCE
247         @$(SHELL) ./FIO-VERSION-GEN
248 -include FIO-VERSION-FILE
249
250 override CFLAGS += -DFIO_VERSION='"$(FIO_VERSION)"'
251
252 %.o : %.c
253         $(QUIET_CC)$(CC) -o $@ $(CFLAGS) $(CPPFLAGS) -c $<
254         @$(CC) -MM $(CFLAGS) $(CPPFLAGS) $*.c > $*.d
255         @mv -f $*.d $*.d.tmp
256         @sed -e 's|.*:|$*.o:|' < $*.d.tmp > $*.d
257         @sed -e 's/.*://' -e 's/\\$$//' < $*.d.tmp | fmt -1 | \
258                 sed -e 's/^ *//' -e 's/$$/:/' >> $*.d
259         @rm -f $*.d.tmp
260
261 init.o: FIO-VERSION-FILE init.c
262         $(QUIET_CC)$(CC) -o init.o $(CFLAGS) $(CPPFLAGS) -c init.c
263
264 gcompat.o: gcompat.c gcompat.h
265         $(QUIET_CC)$(CC) $(CFLAGS) $(GTK_CFLAGS) $(CPPFLAGS) -c gcompat.c
266
267 goptions.o: goptions.c goptions.h
268         $(QUIET_CC)$(CC) $(CFLAGS) $(GTK_CFLAGS) $(CPPFLAGS) -c goptions.c
269
270 ghelpers.o: ghelpers.c ghelpers.h
271         $(QUIET_CC)$(CC) $(CFLAGS) $(GTK_CFLAGS) $(CPPFLAGS) -c ghelpers.c
272
273 gerror.o: gerror.c gerror.h
274         $(QUIET_CC)$(CC) $(CFLAGS) $(GTK_CFLAGS) $(CPPFLAGS) -c gerror.c
275
276 gclient.o: gclient.c gclient.h
277         $(QUIET_CC)$(CC) $(CFLAGS) $(GTK_CFLAGS) $(CPPFLAGS) -c gclient.c
278
279 gfio.o: gfio.c ghelpers.c
280         $(QUIET_CC)$(CC) $(CFLAGS) $(GTK_CFLAGS) $(CPPFLAGS) -c gfio.c
281
282 graph.o: graph.c graph.h
283         $(QUIET_CC)$(CC) $(CFLAGS) $(GTK_CFLAGS) $(CPPFLAGS) -c graph.c
284
285 cairo_text_helpers.o: cairo_text_helpers.c cairo_text_helpers.h
286         $(QUIET_CC)$(CC) $(CFLAGS) $(GTK_CFLAGS) $(CPPFLAGS) -c cairo_text_helpers.c
287
288 printing.o: printing.c printing.h
289         $(QUIET_CC)$(CC) $(CFLAGS) $(GTK_CFLAGS) $(CPPFLAGS) -c printing.c
290
291 t/stest: $(T_SMALLOC_OBJS)
292         $(QUIET_LINK)$(CC) $(LDFLAGS) $(CFLAGS) -o $@ $(T_SMALLOC_OBJS) $(LIBS)
293
294 t/ieee754: $(T_IEEE_OBJS)
295         $(QUIET_LINK)$(CC) $(LDFLAGS) $(CFLAGS) -o $@ $(T_IEEE_OBJS) $(LIBS)
296
297 fio: $(FIO_OBJS)
298         $(QUIET_LINK)$(CC) $(LDFLAGS) $(CFLAGS) -o $@ $(FIO_OBJS) $(LIBS) $(HDFSLIB)
299
300 gfio: $(GFIO_OBJS)
301         $(QUIET_LINK)$(CC) $(LDFLAGS) -o gfio $(GFIO_OBJS) $(LIBS) $(GTK_LDFLAGS)
302
303 t/genzipf: $(T_ZIPF_OBJS)
304         $(QUIET_LINK)$(CC) $(LDFLAGS) $(CFLAGS) -o $@ $(T_ZIPF_OBJS) $(LIBS)
305
306 t/axmap: $(T_AXMAP_OBJS)
307         $(QUIET_LINK)$(CC) $(LDFLAGS) $(CFLAGS) -o $@ $(T_AXMAP_OBJS) $(LIBS)
308
309 t/lfsr-test: $(T_LFSR_TEST_OBJS)
310         $(QUIET_LINK)$(CC) $(LDFLAGS) $(CFLAGS) -o $@ $(T_LFSR_TEST_OBJS) $(LIBS)
311
312 ifeq ($(CONFIG_TARGET_OS), Linux)
313 t/btrace2fio: $(T_BTRACE_FIO_OBJS)
314         $(QUIET_LINK)$(CC) $(LDFLAGS) $(CFLAGS) -o $@ $(T_BTRACE_FIO_OBJS) $(LIBS)
315 endif
316
317 t/dedupe: $(T_DEDUPE_OBJS)
318         $(QUIET_LINK)$(CC) $(LDFLAGS) $(CFLAGS) -o $@ $(T_DEDUPE_OBJS) $(LIBS)
319
320 clean: FORCE
321         -rm -f .depend $(FIO_OBJS) $(GFIO_OBJS) $(OBJS) $(T_OBJS) $(PROGS) $(T_PROGS) core.* core gfio FIO-VERSION-FILE *.d lib/*.d crc/*.d engines/*.d profiles/*.d t/*.d config-host.mak config-host.h
322
323 distclean: clean FORCE
324         @rm -f cscope.out fio.pdf fio_generate_plots.pdf fio2gnuplot.pdf
325
326 cscope:
327         @cscope -b -R
328
329 tools/plot/fio2gnuplot.1:
330         @cat tools/plot/fio2gnuplot.manpage | txt2man -t fio2gnuplot >  tools/plot/fio2gnuplot.1
331
332 doc: tools/plot/fio2gnuplot.1
333         @man -t ./fio.1 | ps2pdf - fio.pdf
334         @man -t tools/fio_generate_plots.1 | ps2pdf - fio_generate_plots.pdf
335         @man -t tools/plot/fio2gnuplot.1 | ps2pdf - fio2gnuplot.pdf
336
337 install: $(PROGS) $(SCRIPTS) tools/plot/fio2gnuplot.1 FORCE
338         $(INSTALL) -m 755 -d $(DESTDIR)$(bindir)
339         $(INSTALL) $(PROGS) $(SCRIPTS) $(DESTDIR)$(bindir)
340         $(INSTALL) -m 755 -d $(DESTDIR)$(mandir)/man1
341         $(INSTALL) -m 644 fio.1 $(DESTDIR)$(mandir)/man1
342         $(INSTALL) -m 644 tools/fio_generate_plots.1 $(DESTDIR)$(mandir)/man1
343         $(INSTALL) -m 644 tools/plot/fio2gnuplot.1 $(DESTDIR)$(mandir)/man1
344         $(INSTALL) -m 755 -d $(DESTDIR)$(sharedir)
345         $(INSTALL) -m 644 tools/plot/*gpm $(DESTDIR)$(sharedir)/