treewide: Add SPDX license identifier for missed files
[linux-block.git] / net / ipv4 / tcp_minisocks.c
1 // SPDX-License-Identifier: GPL-2.0-only
2 /*
3  * INET         An implementation of the TCP/IP protocol suite for the LINUX
4  *              operating system.  INET is implemented using the  BSD Socket
5  *              interface as the means of communication with the user level.
6  *
7  *              Implementation of the Transmission Control Protocol(TCP).
8  *
9  * Authors:     Ross Biro
10  *              Fred N. van Kempen, <waltje@uWalt.NL.Mugnet.ORG>
11  *              Mark Evans, <evansmp@uhura.aston.ac.uk>
12  *              Corey Minyard <wf-rch!minyard@relay.EU.net>
13  *              Florian La Roche, <flla@stud.uni-sb.de>
14  *              Charles Hedrick, <hedrick@klinzhai.rutgers.edu>
15  *              Linus Torvalds, <torvalds@cs.helsinki.fi>
16  *              Alan Cox, <gw4pts@gw4pts.ampr.org>
17  *              Matthew Dillon, <dillon@apollo.west.oic.com>
18  *              Arnt Gulbrandsen, <agulbra@nvg.unit.no>
19  *              Jorge Cwik, <jorge@laser.satlink.net>
20  */
21
22 #include <linux/mm.h>
23 #include <linux/module.h>
24 #include <linux/slab.h>
25 #include <linux/sysctl.h>
26 #include <linux/workqueue.h>
27 #include <linux/static_key.h>
28 #include <net/tcp.h>
29 #include <net/inet_common.h>
30 #include <net/xfrm.h>
31 #include <net/busy_poll.h>
32
33 static bool tcp_in_window(u32 seq, u32 end_seq, u32 s_win, u32 e_win)
34 {
35         if (seq == s_win)
36                 return true;
37         if (after(end_seq, s_win) && before(seq, e_win))
38                 return true;
39         return seq == e_win && seq == end_seq;
40 }
41
42 static enum tcp_tw_status
43 tcp_timewait_check_oow_rate_limit(struct inet_timewait_sock *tw,
44                                   const struct sk_buff *skb, int mib_idx)
45 {
46         struct tcp_timewait_sock *tcptw = tcp_twsk((struct sock *)tw);
47
48         if (!tcp_oow_rate_limited(twsk_net(tw), skb, mib_idx,
49                                   &tcptw->tw_last_oow_ack_time)) {
50                 /* Send ACK. Note, we do not put the bucket,
51                  * it will be released by caller.
52                  */
53                 return TCP_TW_ACK;
54         }
55
56         /* We are rate-limiting, so just release the tw sock and drop skb. */
57         inet_twsk_put(tw);
58         return TCP_TW_SUCCESS;
59 }
60
61 /*
62  * * Main purpose of TIME-WAIT state is to close connection gracefully,
63  *   when one of ends sits in LAST-ACK or CLOSING retransmitting FIN
64  *   (and, probably, tail of data) and one or more our ACKs are lost.
65  * * What is TIME-WAIT timeout? It is associated with maximal packet
66  *   lifetime in the internet, which results in wrong conclusion, that
67  *   it is set to catch "old duplicate segments" wandering out of their path.
68  *   It is not quite correct. This timeout is calculated so that it exceeds
69  *   maximal retransmission timeout enough to allow to lose one (or more)
70  *   segments sent by peer and our ACKs. This time may be calculated from RTO.
71  * * When TIME-WAIT socket receives RST, it means that another end
72  *   finally closed and we are allowed to kill TIME-WAIT too.
73  * * Second purpose of TIME-WAIT is catching old duplicate segments.
74  *   Well, certainly it is pure paranoia, but if we load TIME-WAIT
75  *   with this semantics, we MUST NOT kill TIME-WAIT state with RSTs.
76  * * If we invented some more clever way to catch duplicates
77  *   (f.e. based on PAWS), we could truncate TIME-WAIT to several RTOs.
78  *
79  * The algorithm below is based on FORMAL INTERPRETATION of RFCs.
80  * When you compare it to RFCs, please, read section SEGMENT ARRIVES
81  * from the very beginning.
82  *
83  * NOTE. With recycling (and later with fin-wait-2) TW bucket
84  * is _not_ stateless. It means, that strictly speaking we must
85  * spinlock it. I do not want! Well, probability of misbehaviour
86  * is ridiculously low and, seems, we could use some mb() tricks
87  * to avoid misread sequence numbers, states etc.  --ANK
88  *
89  * We don't need to initialize tmp_out.sack_ok as we don't use the results
90  */
91 enum tcp_tw_status
92 tcp_timewait_state_process(struct inet_timewait_sock *tw, struct sk_buff *skb,
93                            const struct tcphdr *th)
94 {
95         struct tcp_options_received tmp_opt;
96         struct tcp_timewait_sock *tcptw = tcp_twsk((struct sock *)tw);
97         bool paws_reject = false;
98
99         tmp_opt.saw_tstamp = 0;
100         if (th->doff > (sizeof(*th) >> 2) && tcptw->tw_ts_recent_stamp) {
101                 tcp_parse_options(twsk_net(tw), skb, &tmp_opt, 0, NULL);
102
103                 if (tmp_opt.saw_tstamp) {
104                         if (tmp_opt.rcv_tsecr)
105                                 tmp_opt.rcv_tsecr -= tcptw->tw_ts_offset;
106                         tmp_opt.ts_recent       = tcptw->tw_ts_recent;
107                         tmp_opt.ts_recent_stamp = tcptw->tw_ts_recent_stamp;
108                         paws_reject = tcp_paws_reject(&tmp_opt, th->rst);
109                 }
110         }
111
112         if (tw->tw_substate == TCP_FIN_WAIT2) {
113                 /* Just repeat all the checks of tcp_rcv_state_process() */
114
115                 /* Out of window, send ACK */
116                 if (paws_reject ||
117                     !tcp_in_window(TCP_SKB_CB(skb)->seq, TCP_SKB_CB(skb)->end_seq,
118                                    tcptw->tw_rcv_nxt,
119                                    tcptw->tw_rcv_nxt + tcptw->tw_rcv_wnd))
120                         return tcp_timewait_check_oow_rate_limit(
121                                 tw, skb, LINUX_MIB_TCPACKSKIPPEDFINWAIT2);
122
123                 if (th->rst)
124                         goto kill;
125
126                 if (th->syn && !before(TCP_SKB_CB(skb)->seq, tcptw->tw_rcv_nxt))
127                         return TCP_TW_RST;
128
129                 /* Dup ACK? */
130                 if (!th->ack ||
131                     !after(TCP_SKB_CB(skb)->end_seq, tcptw->tw_rcv_nxt) ||
132                     TCP_SKB_CB(skb)->end_seq == TCP_SKB_CB(skb)->seq) {
133                         inet_twsk_put(tw);
134                         return TCP_TW_SUCCESS;
135                 }
136
137                 /* New data or FIN. If new data arrive after half-duplex close,
138                  * reset.
139                  */
140                 if (!th->fin ||
141                     TCP_SKB_CB(skb)->end_seq != tcptw->tw_rcv_nxt + 1)
142                         return TCP_TW_RST;
143
144                 /* FIN arrived, enter true time-wait state. */
145                 tw->tw_substate   = TCP_TIME_WAIT;
146                 tcptw->tw_rcv_nxt = TCP_SKB_CB(skb)->end_seq;
147                 if (tmp_opt.saw_tstamp) {
148                         tcptw->tw_ts_recent_stamp = ktime_get_seconds();
149                         tcptw->tw_ts_recent       = tmp_opt.rcv_tsval;
150                 }
151
152                 inet_twsk_reschedule(tw, TCP_TIMEWAIT_LEN);
153                 return TCP_TW_ACK;
154         }
155
156         /*
157          *      Now real TIME-WAIT state.
158          *
159          *      RFC 1122:
160          *      "When a connection is [...] on TIME-WAIT state [...]
161          *      [a TCP] MAY accept a new SYN from the remote TCP to
162          *      reopen the connection directly, if it:
163          *
164          *      (1)  assigns its initial sequence number for the new
165          *      connection to be larger than the largest sequence
166          *      number it used on the previous connection incarnation,
167          *      and
168          *
169          *      (2)  returns to TIME-WAIT state if the SYN turns out
170          *      to be an old duplicate".
171          */
172
173         if (!paws_reject &&
174             (TCP_SKB_CB(skb)->seq == tcptw->tw_rcv_nxt &&
175              (TCP_SKB_CB(skb)->seq == TCP_SKB_CB(skb)->end_seq || th->rst))) {
176                 /* In window segment, it may be only reset or bare ack. */
177
178                 if (th->rst) {
179                         /* This is TIME_WAIT assassination, in two flavors.
180                          * Oh well... nobody has a sufficient solution to this
181                          * protocol bug yet.
182                          */
183                         if (twsk_net(tw)->ipv4.sysctl_tcp_rfc1337 == 0) {
184 kill:
185                                 inet_twsk_deschedule_put(tw);
186                                 return TCP_TW_SUCCESS;
187                         }
188                 } else {
189                         inet_twsk_reschedule(tw, TCP_TIMEWAIT_LEN);
190                 }
191
192                 if (tmp_opt.saw_tstamp) {
193                         tcptw->tw_ts_recent       = tmp_opt.rcv_tsval;
194                         tcptw->tw_ts_recent_stamp = ktime_get_seconds();
195                 }
196
197                 inet_twsk_put(tw);
198                 return TCP_TW_SUCCESS;
199         }
200
201         /* Out of window segment.
202
203            All the segments are ACKed immediately.
204
205            The only exception is new SYN. We accept it, if it is
206            not old duplicate and we are not in danger to be killed
207            by delayed old duplicates. RFC check is that it has
208            newer sequence number works at rates <40Mbit/sec.
209            However, if paws works, it is reliable AND even more,
210            we even may relax silly seq space cutoff.
211
212            RED-PEN: we violate main RFC requirement, if this SYN will appear
213            old duplicate (i.e. we receive RST in reply to SYN-ACK),
214            we must return socket to time-wait state. It is not good,
215            but not fatal yet.
216          */
217
218         if (th->syn && !th->rst && !th->ack && !paws_reject &&
219             (after(TCP_SKB_CB(skb)->seq, tcptw->tw_rcv_nxt) ||
220              (tmp_opt.saw_tstamp &&
221               (s32)(tcptw->tw_ts_recent - tmp_opt.rcv_tsval) < 0))) {
222                 u32 isn = tcptw->tw_snd_nxt + 65535 + 2;
223                 if (isn == 0)
224                         isn++;
225                 TCP_SKB_CB(skb)->tcp_tw_isn = isn;
226                 return TCP_TW_SYN;
227         }
228
229         if (paws_reject)
230                 __NET_INC_STATS(twsk_net(tw), LINUX_MIB_PAWSESTABREJECTED);
231
232         if (!th->rst) {
233                 /* In this case we must reset the TIMEWAIT timer.
234                  *
235                  * If it is ACKless SYN it may be both old duplicate
236                  * and new good SYN with random sequence number <rcv_nxt.
237                  * Do not reschedule in the last case.
238                  */
239                 if (paws_reject || th->ack)
240                         inet_twsk_reschedule(tw, TCP_TIMEWAIT_LEN);
241
242                 return tcp_timewait_check_oow_rate_limit(
243                         tw, skb, LINUX_MIB_TCPACKSKIPPEDTIMEWAIT);
244         }
245         inet_twsk_put(tw);
246         return TCP_TW_SUCCESS;
247 }
248 EXPORT_SYMBOL(tcp_timewait_state_process);
249
250 /*
251  * Move a socket to time-wait or dead fin-wait-2 state.
252  */
253 void tcp_time_wait(struct sock *sk, int state, int timeo)
254 {
255         const struct inet_connection_sock *icsk = inet_csk(sk);
256         const struct tcp_sock *tp = tcp_sk(sk);
257         struct inet_timewait_sock *tw;
258         struct inet_timewait_death_row *tcp_death_row = &sock_net(sk)->ipv4.tcp_death_row;
259
260         tw = inet_twsk_alloc(sk, tcp_death_row, state);
261
262         if (tw) {
263                 struct tcp_timewait_sock *tcptw = tcp_twsk((struct sock *)tw);
264                 const int rto = (icsk->icsk_rto << 2) - (icsk->icsk_rto >> 1);
265                 struct inet_sock *inet = inet_sk(sk);
266
267                 tw->tw_transparent      = inet->transparent;
268                 tw->tw_mark             = sk->sk_mark;
269                 tw->tw_rcv_wscale       = tp->rx_opt.rcv_wscale;
270                 tcptw->tw_rcv_nxt       = tp->rcv_nxt;
271                 tcptw->tw_snd_nxt       = tp->snd_nxt;
272                 tcptw->tw_rcv_wnd       = tcp_receive_window(tp);
273                 tcptw->tw_ts_recent     = tp->rx_opt.ts_recent;
274                 tcptw->tw_ts_recent_stamp = tp->rx_opt.ts_recent_stamp;
275                 tcptw->tw_ts_offset     = tp->tsoffset;
276                 tcptw->tw_last_oow_ack_time = 0;
277
278 #if IS_ENABLED(CONFIG_IPV6)
279                 if (tw->tw_family == PF_INET6) {
280                         struct ipv6_pinfo *np = inet6_sk(sk);
281
282                         tw->tw_v6_daddr = sk->sk_v6_daddr;
283                         tw->tw_v6_rcv_saddr = sk->sk_v6_rcv_saddr;
284                         tw->tw_tclass = np->tclass;
285                         tw->tw_flowlabel = be32_to_cpu(np->flow_label & IPV6_FLOWLABEL_MASK);
286                         tw->tw_ipv6only = sk->sk_ipv6only;
287                 }
288 #endif
289
290 #ifdef CONFIG_TCP_MD5SIG
291                 /*
292                  * The timewait bucket does not have the key DB from the
293                  * sock structure. We just make a quick copy of the
294                  * md5 key being used (if indeed we are using one)
295                  * so the timewait ack generating code has the key.
296                  */
297                 do {
298                         tcptw->tw_md5_key = NULL;
299                         if (static_branch_unlikely(&tcp_md5_needed)) {
300                                 struct tcp_md5sig_key *key;
301
302                                 key = tp->af_specific->md5_lookup(sk, sk);
303                                 if (key) {
304                                         tcptw->tw_md5_key = kmemdup(key, sizeof(*key), GFP_ATOMIC);
305                                         BUG_ON(tcptw->tw_md5_key && !tcp_alloc_md5sig_pool());
306                                 }
307                         }
308                 } while (0);
309 #endif
310
311                 /* Get the TIME_WAIT timeout firing. */
312                 if (timeo < rto)
313                         timeo = rto;
314
315                 if (state == TCP_TIME_WAIT)
316                         timeo = TCP_TIMEWAIT_LEN;
317
318                 /* tw_timer is pinned, so we need to make sure BH are disabled
319                  * in following section, otherwise timer handler could run before
320                  * we complete the initialization.
321                  */
322                 local_bh_disable();
323                 inet_twsk_schedule(tw, timeo);
324                 /* Linkage updates.
325                  * Note that access to tw after this point is illegal.
326                  */
327                 inet_twsk_hashdance(tw, sk, &tcp_hashinfo);
328                 local_bh_enable();
329         } else {
330                 /* Sorry, if we're out of memory, just CLOSE this
331                  * socket up.  We've got bigger problems than
332                  * non-graceful socket closings.
333                  */
334                 NET_INC_STATS(sock_net(sk), LINUX_MIB_TCPTIMEWAITOVERFLOW);
335         }
336
337         tcp_update_metrics(sk);
338         tcp_done(sk);
339 }
340 EXPORT_SYMBOL(tcp_time_wait);
341
342 void tcp_twsk_destructor(struct sock *sk)
343 {
344 #ifdef CONFIG_TCP_MD5SIG
345         if (static_branch_unlikely(&tcp_md5_needed)) {
346                 struct tcp_timewait_sock *twsk = tcp_twsk(sk);
347
348                 if (twsk->tw_md5_key)
349                         kfree_rcu(twsk->tw_md5_key, rcu);
350         }
351 #endif
352 }
353 EXPORT_SYMBOL_GPL(tcp_twsk_destructor);
354
355 /* Warning : This function is called without sk_listener being locked.
356  * Be sure to read socket fields once, as their value could change under us.
357  */
358 void tcp_openreq_init_rwin(struct request_sock *req,
359                            const struct sock *sk_listener,
360                            const struct dst_entry *dst)
361 {
362         struct inet_request_sock *ireq = inet_rsk(req);
363         const struct tcp_sock *tp = tcp_sk(sk_listener);
364         int full_space = tcp_full_space(sk_listener);
365         u32 window_clamp;
366         __u8 rcv_wscale;
367         u32 rcv_wnd;
368         int mss;
369
370         mss = tcp_mss_clamp(tp, dst_metric_advmss(dst));
371         window_clamp = READ_ONCE(tp->window_clamp);
372         /* Set this up on the first call only */
373         req->rsk_window_clamp = window_clamp ? : dst_metric(dst, RTAX_WINDOW);
374
375         /* limit the window selection if the user enforce a smaller rx buffer */
376         if (sk_listener->sk_userlocks & SOCK_RCVBUF_LOCK &&
377             (req->rsk_window_clamp > full_space || req->rsk_window_clamp == 0))
378                 req->rsk_window_clamp = full_space;
379
380         rcv_wnd = tcp_rwnd_init_bpf((struct sock *)req);
381         if (rcv_wnd == 0)
382                 rcv_wnd = dst_metric(dst, RTAX_INITRWND);
383         else if (full_space < rcv_wnd * mss)
384                 full_space = rcv_wnd * mss;
385
386         /* tcp_full_space because it is guaranteed to be the first packet */
387         tcp_select_initial_window(sk_listener, full_space,
388                 mss - (ireq->tstamp_ok ? TCPOLEN_TSTAMP_ALIGNED : 0),
389                 &req->rsk_rcv_wnd,
390                 &req->rsk_window_clamp,
391                 ireq->wscale_ok,
392                 &rcv_wscale,
393                 rcv_wnd);
394         ireq->rcv_wscale = rcv_wscale;
395 }
396 EXPORT_SYMBOL(tcp_openreq_init_rwin);
397
398 static void tcp_ecn_openreq_child(struct tcp_sock *tp,
399                                   const struct request_sock *req)
400 {
401         tp->ecn_flags = inet_rsk(req)->ecn_ok ? TCP_ECN_OK : 0;
402 }
403
404 void tcp_ca_openreq_child(struct sock *sk, const struct dst_entry *dst)
405 {
406         struct inet_connection_sock *icsk = inet_csk(sk);
407         u32 ca_key = dst_metric(dst, RTAX_CC_ALGO);
408         bool ca_got_dst = false;
409
410         if (ca_key != TCP_CA_UNSPEC) {
411                 const struct tcp_congestion_ops *ca;
412
413                 rcu_read_lock();
414                 ca = tcp_ca_find_key(ca_key);
415                 if (likely(ca && try_module_get(ca->owner))) {
416                         icsk->icsk_ca_dst_locked = tcp_ca_dst_locked(dst);
417                         icsk->icsk_ca_ops = ca;
418                         ca_got_dst = true;
419                 }
420                 rcu_read_unlock();
421         }
422
423         /* If no valid choice made yet, assign current system default ca. */
424         if (!ca_got_dst &&
425             (!icsk->icsk_ca_setsockopt ||
426              !try_module_get(icsk->icsk_ca_ops->owner)))
427                 tcp_assign_congestion_control(sk);
428
429         tcp_set_ca_state(sk, TCP_CA_Open);
430 }
431 EXPORT_SYMBOL_GPL(tcp_ca_openreq_child);
432
433 static void smc_check_reset_syn_req(struct tcp_sock *oldtp,
434                                     struct request_sock *req,
435                                     struct tcp_sock *newtp)
436 {
437 #if IS_ENABLED(CONFIG_SMC)
438         struct inet_request_sock *ireq;
439
440         if (static_branch_unlikely(&tcp_have_smc)) {
441                 ireq = inet_rsk(req);
442                 if (oldtp->syn_smc && !ireq->smc_ok)
443                         newtp->syn_smc = 0;
444         }
445 #endif
446 }
447
448 /* This is not only more efficient than what we used to do, it eliminates
449  * a lot of code duplication between IPv4/IPv6 SYN recv processing. -DaveM
450  *
451  * Actually, we could lots of memory writes here. tp of listening
452  * socket contains all necessary default parameters.
453  */
454 struct sock *tcp_create_openreq_child(const struct sock *sk,
455                                       struct request_sock *req,
456                                       struct sk_buff *skb)
457 {
458         struct sock *newsk = inet_csk_clone_lock(sk, req, GFP_ATOMIC);
459         const struct inet_request_sock *ireq = inet_rsk(req);
460         struct tcp_request_sock *treq = tcp_rsk(req);
461         struct inet_connection_sock *newicsk;
462         struct tcp_sock *oldtp, *newtp;
463
464         if (!newsk)
465                 return NULL;
466
467         newicsk = inet_csk(newsk);
468         newtp = tcp_sk(newsk);
469         oldtp = tcp_sk(sk);
470
471         smc_check_reset_syn_req(oldtp, req, newtp);
472
473         /* Now setup tcp_sock */
474         newtp->pred_flags = 0;
475
476         newtp->rcv_wup = newtp->copied_seq =
477         newtp->rcv_nxt = treq->rcv_isn + 1;
478         newtp->segs_in = 1;
479
480         newtp->snd_sml = newtp->snd_una =
481         newtp->snd_nxt = newtp->snd_up = treq->snt_isn + 1;
482
483         INIT_LIST_HEAD(&newtp->tsq_node);
484         INIT_LIST_HEAD(&newtp->tsorted_sent_queue);
485
486         tcp_init_wl(newtp, treq->rcv_isn);
487
488         minmax_reset(&newtp->rtt_min, tcp_jiffies32, ~0U);
489         newicsk->icsk_ack.lrcvtime = tcp_jiffies32;
490
491         newtp->lsndtime = tcp_jiffies32;
492         newsk->sk_txhash = treq->txhash;
493         newtp->total_retrans = req->num_retrans;
494
495         tcp_init_xmit_timers(newsk);
496         newtp->write_seq = newtp->pushed_seq = treq->snt_isn + 1;
497
498         if (sock_flag(newsk, SOCK_KEEPOPEN))
499                 inet_csk_reset_keepalive_timer(newsk,
500                                                keepalive_time_when(newtp));
501
502         newtp->rx_opt.tstamp_ok = ireq->tstamp_ok;
503         newtp->rx_opt.sack_ok = ireq->sack_ok;
504         newtp->window_clamp = req->rsk_window_clamp;
505         newtp->rcv_ssthresh = req->rsk_rcv_wnd;
506         newtp->rcv_wnd = req->rsk_rcv_wnd;
507         newtp->rx_opt.wscale_ok = ireq->wscale_ok;
508         if (newtp->rx_opt.wscale_ok) {
509                 newtp->rx_opt.snd_wscale = ireq->snd_wscale;
510                 newtp->rx_opt.rcv_wscale = ireq->rcv_wscale;
511         } else {
512                 newtp->rx_opt.snd_wscale = newtp->rx_opt.rcv_wscale = 0;
513                 newtp->window_clamp = min(newtp->window_clamp, 65535U);
514         }
515         newtp->snd_wnd = ntohs(tcp_hdr(skb)->window) << newtp->rx_opt.snd_wscale;
516         newtp->max_window = newtp->snd_wnd;
517
518         if (newtp->rx_opt.tstamp_ok) {
519                 newtp->rx_opt.ts_recent = req->ts_recent;
520                 newtp->rx_opt.ts_recent_stamp = ktime_get_seconds();
521                 newtp->tcp_header_len = sizeof(struct tcphdr) + TCPOLEN_TSTAMP_ALIGNED;
522         } else {
523                 newtp->rx_opt.ts_recent_stamp = 0;
524                 newtp->tcp_header_len = sizeof(struct tcphdr);
525         }
526         if (req->num_timeout) {
527                 newtp->undo_marker = treq->snt_isn;
528                 newtp->retrans_stamp = div_u64(treq->snt_synack,
529                                                USEC_PER_SEC / TCP_TS_HZ);
530         }
531         newtp->tsoffset = treq->ts_off;
532 #ifdef CONFIG_TCP_MD5SIG
533         newtp->md5sig_info = NULL;      /*XXX*/
534         if (newtp->af_specific->md5_lookup(sk, newsk))
535                 newtp->tcp_header_len += TCPOLEN_MD5SIG_ALIGNED;
536 #endif
537         if (skb->len >= TCP_MSS_DEFAULT + newtp->tcp_header_len)
538                 newicsk->icsk_ack.last_seg_size = skb->len - newtp->tcp_header_len;
539         newtp->rx_opt.mss_clamp = req->mss;
540         tcp_ecn_openreq_child(newtp, req);
541         newtp->fastopen_req = NULL;
542         newtp->fastopen_rsk = NULL;
543
544         __TCP_INC_STATS(sock_net(sk), TCP_MIB_PASSIVEOPENS);
545
546         return newsk;
547 }
548 EXPORT_SYMBOL(tcp_create_openreq_child);
549
550 /*
551  * Process an incoming packet for SYN_RECV sockets represented as a
552  * request_sock. Normally sk is the listener socket but for TFO it
553  * points to the child socket.
554  *
555  * XXX (TFO) - The current impl contains a special check for ack
556  * validation and inside tcp_v4_reqsk_send_ack(). Can we do better?
557  *
558  * We don't need to initialize tmp_opt.sack_ok as we don't use the results
559  */
560
561 struct sock *tcp_check_req(struct sock *sk, struct sk_buff *skb,
562                            struct request_sock *req,
563                            bool fastopen, bool *req_stolen)
564 {
565         struct tcp_options_received tmp_opt;
566         struct sock *child;
567         const struct tcphdr *th = tcp_hdr(skb);
568         __be32 flg = tcp_flag_word(th) & (TCP_FLAG_RST|TCP_FLAG_SYN|TCP_FLAG_ACK);
569         bool paws_reject = false;
570         bool own_req;
571
572         tmp_opt.saw_tstamp = 0;
573         if (th->doff > (sizeof(struct tcphdr)>>2)) {
574                 tcp_parse_options(sock_net(sk), skb, &tmp_opt, 0, NULL);
575
576                 if (tmp_opt.saw_tstamp) {
577                         tmp_opt.ts_recent = req->ts_recent;
578                         if (tmp_opt.rcv_tsecr)
579                                 tmp_opt.rcv_tsecr -= tcp_rsk(req)->ts_off;
580                         /* We do not store true stamp, but it is not required,
581                          * it can be estimated (approximately)
582                          * from another data.
583                          */
584                         tmp_opt.ts_recent_stamp = ktime_get_seconds() - ((TCP_TIMEOUT_INIT/HZ)<<req->num_timeout);
585                         paws_reject = tcp_paws_reject(&tmp_opt, th->rst);
586                 }
587         }
588
589         /* Check for pure retransmitted SYN. */
590         if (TCP_SKB_CB(skb)->seq == tcp_rsk(req)->rcv_isn &&
591             flg == TCP_FLAG_SYN &&
592             !paws_reject) {
593                 /*
594                  * RFC793 draws (Incorrectly! It was fixed in RFC1122)
595                  * this case on figure 6 and figure 8, but formal
596                  * protocol description says NOTHING.
597                  * To be more exact, it says that we should send ACK,
598                  * because this segment (at least, if it has no data)
599                  * is out of window.
600                  *
601                  *  CONCLUSION: RFC793 (even with RFC1122) DOES NOT
602                  *  describe SYN-RECV state. All the description
603                  *  is wrong, we cannot believe to it and should
604                  *  rely only on common sense and implementation
605                  *  experience.
606                  *
607                  * Enforce "SYN-ACK" according to figure 8, figure 6
608                  * of RFC793, fixed by RFC1122.
609                  *
610                  * Note that even if there is new data in the SYN packet
611                  * they will be thrown away too.
612                  *
613                  * Reset timer after retransmitting SYNACK, similar to
614                  * the idea of fast retransmit in recovery.
615                  */
616                 if (!tcp_oow_rate_limited(sock_net(sk), skb,
617                                           LINUX_MIB_TCPACKSKIPPEDSYNRECV,
618                                           &tcp_rsk(req)->last_oow_ack_time) &&
619
620                     !inet_rtx_syn_ack(sk, req)) {
621                         unsigned long expires = jiffies;
622
623                         expires += min(TCP_TIMEOUT_INIT << req->num_timeout,
624                                        TCP_RTO_MAX);
625                         if (!fastopen)
626                                 mod_timer_pending(&req->rsk_timer, expires);
627                         else
628                                 req->rsk_timer.expires = expires;
629                 }
630                 return NULL;
631         }
632
633         /* Further reproduces section "SEGMENT ARRIVES"
634            for state SYN-RECEIVED of RFC793.
635            It is broken, however, it does not work only
636            when SYNs are crossed.
637
638            You would think that SYN crossing is impossible here, since
639            we should have a SYN_SENT socket (from connect()) on our end,
640            but this is not true if the crossed SYNs were sent to both
641            ends by a malicious third party.  We must defend against this,
642            and to do that we first verify the ACK (as per RFC793, page
643            36) and reset if it is invalid.  Is this a true full defense?
644            To convince ourselves, let us consider a way in which the ACK
645            test can still pass in this 'malicious crossed SYNs' case.
646            Malicious sender sends identical SYNs (and thus identical sequence
647            numbers) to both A and B:
648
649                 A: gets SYN, seq=7
650                 B: gets SYN, seq=7
651
652            By our good fortune, both A and B select the same initial
653            send sequence number of seven :-)
654
655                 A: sends SYN|ACK, seq=7, ack_seq=8
656                 B: sends SYN|ACK, seq=7, ack_seq=8
657
658            So we are now A eating this SYN|ACK, ACK test passes.  So
659            does sequence test, SYN is truncated, and thus we consider
660            it a bare ACK.
661
662            If icsk->icsk_accept_queue.rskq_defer_accept, we silently drop this
663            bare ACK.  Otherwise, we create an established connection.  Both
664            ends (listening sockets) accept the new incoming connection and try
665            to talk to each other. 8-)
666
667            Note: This case is both harmless, and rare.  Possibility is about the
668            same as us discovering intelligent life on another plant tomorrow.
669
670            But generally, we should (RFC lies!) to accept ACK
671            from SYNACK both here and in tcp_rcv_state_process().
672            tcp_rcv_state_process() does not, hence, we do not too.
673
674            Note that the case is absolutely generic:
675            we cannot optimize anything here without
676            violating protocol. All the checks must be made
677            before attempt to create socket.
678          */
679
680         /* RFC793 page 36: "If the connection is in any non-synchronized state ...
681          *                  and the incoming segment acknowledges something not yet
682          *                  sent (the segment carries an unacceptable ACK) ...
683          *                  a reset is sent."
684          *
685          * Invalid ACK: reset will be sent by listening socket.
686          * Note that the ACK validity check for a Fast Open socket is done
687          * elsewhere and is checked directly against the child socket rather
688          * than req because user data may have been sent out.
689          */
690         if ((flg & TCP_FLAG_ACK) && !fastopen &&
691             (TCP_SKB_CB(skb)->ack_seq !=
692              tcp_rsk(req)->snt_isn + 1))
693                 return sk;
694
695         /* Also, it would be not so bad idea to check rcv_tsecr, which
696          * is essentially ACK extension and too early or too late values
697          * should cause reset in unsynchronized states.
698          */
699
700         /* RFC793: "first check sequence number". */
701
702         if (paws_reject || !tcp_in_window(TCP_SKB_CB(skb)->seq, TCP_SKB_CB(skb)->end_seq,
703                                           tcp_rsk(req)->rcv_nxt, tcp_rsk(req)->rcv_nxt + req->rsk_rcv_wnd)) {
704                 /* Out of window: send ACK and drop. */
705                 if (!(flg & TCP_FLAG_RST) &&
706                     !tcp_oow_rate_limited(sock_net(sk), skb,
707                                           LINUX_MIB_TCPACKSKIPPEDSYNRECV,
708                                           &tcp_rsk(req)->last_oow_ack_time))
709                         req->rsk_ops->send_ack(sk, skb, req);
710                 if (paws_reject)
711                         __NET_INC_STATS(sock_net(sk), LINUX_MIB_PAWSESTABREJECTED);
712                 return NULL;
713         }
714
715         /* In sequence, PAWS is OK. */
716
717         if (tmp_opt.saw_tstamp && !after(TCP_SKB_CB(skb)->seq, tcp_rsk(req)->rcv_nxt))
718                 req->ts_recent = tmp_opt.rcv_tsval;
719
720         if (TCP_SKB_CB(skb)->seq == tcp_rsk(req)->rcv_isn) {
721                 /* Truncate SYN, it is out of window starting
722                    at tcp_rsk(req)->rcv_isn + 1. */
723                 flg &= ~TCP_FLAG_SYN;
724         }
725
726         /* RFC793: "second check the RST bit" and
727          *         "fourth, check the SYN bit"
728          */
729         if (flg & (TCP_FLAG_RST|TCP_FLAG_SYN)) {
730                 __TCP_INC_STATS(sock_net(sk), TCP_MIB_ATTEMPTFAILS);
731                 goto embryonic_reset;
732         }
733
734         /* ACK sequence verified above, just make sure ACK is
735          * set.  If ACK not set, just silently drop the packet.
736          *
737          * XXX (TFO) - if we ever allow "data after SYN", the
738          * following check needs to be removed.
739          */
740         if (!(flg & TCP_FLAG_ACK))
741                 return NULL;
742
743         /* For Fast Open no more processing is needed (sk is the
744          * child socket).
745          */
746         if (fastopen)
747                 return sk;
748
749         /* While TCP_DEFER_ACCEPT is active, drop bare ACK. */
750         if (req->num_timeout < inet_csk(sk)->icsk_accept_queue.rskq_defer_accept &&
751             TCP_SKB_CB(skb)->end_seq == tcp_rsk(req)->rcv_isn + 1) {
752                 inet_rsk(req)->acked = 1;
753                 __NET_INC_STATS(sock_net(sk), LINUX_MIB_TCPDEFERACCEPTDROP);
754                 return NULL;
755         }
756
757         /* OK, ACK is valid, create big socket and
758          * feed this segment to it. It will repeat all
759          * the tests. THIS SEGMENT MUST MOVE SOCKET TO
760          * ESTABLISHED STATE. If it will be dropped after
761          * socket is created, wait for troubles.
762          */
763         child = inet_csk(sk)->icsk_af_ops->syn_recv_sock(sk, skb, req, NULL,
764                                                          req, &own_req);
765         if (!child)
766                 goto listen_overflow;
767
768         sock_rps_save_rxhash(child, skb);
769         tcp_synack_rtt_meas(child, req);
770         *req_stolen = !own_req;
771         return inet_csk_complete_hashdance(sk, child, req, own_req);
772
773 listen_overflow:
774         if (!sock_net(sk)->ipv4.sysctl_tcp_abort_on_overflow) {
775                 inet_rsk(req)->acked = 1;
776                 return NULL;
777         }
778
779 embryonic_reset:
780         if (!(flg & TCP_FLAG_RST)) {
781                 /* Received a bad SYN pkt - for TFO We try not to reset
782                  * the local connection unless it's really necessary to
783                  * avoid becoming vulnerable to outside attack aiming at
784                  * resetting legit local connections.
785                  */
786                 req->rsk_ops->send_reset(sk, skb);
787         } else if (fastopen) { /* received a valid RST pkt */
788                 reqsk_fastopen_remove(sk, req, true);
789                 tcp_reset(sk);
790         }
791         if (!fastopen) {
792                 inet_csk_reqsk_queue_drop(sk, req);
793                 __NET_INC_STATS(sock_net(sk), LINUX_MIB_EMBRYONICRSTS);
794         }
795         return NULL;
796 }
797 EXPORT_SYMBOL(tcp_check_req);
798
799 /*
800  * Queue segment on the new socket if the new socket is active,
801  * otherwise we just shortcircuit this and continue with
802  * the new socket.
803  *
804  * For the vast majority of cases child->sk_state will be TCP_SYN_RECV
805  * when entering. But other states are possible due to a race condition
806  * where after __inet_lookup_established() fails but before the listener
807  * locked is obtained, other packets cause the same connection to
808  * be created.
809  */
810
811 int tcp_child_process(struct sock *parent, struct sock *child,
812                       struct sk_buff *skb)
813 {
814         int ret = 0;
815         int state = child->sk_state;
816
817         /* record NAPI ID of child */
818         sk_mark_napi_id(child, skb);
819
820         tcp_segs_in(tcp_sk(child), skb);
821         if (!sock_owned_by_user(child)) {
822                 ret = tcp_rcv_state_process(child, skb);
823                 /* Wakeup parent, send SIGIO */
824                 if (state == TCP_SYN_RECV && child->sk_state != state)
825                         parent->sk_data_ready(parent);
826         } else {
827                 /* Alas, it is possible again, because we do lookup
828                  * in main socket hash table and lock on listening
829                  * socket does not protect us more.
830                  */
831                 __sk_add_backlog(child, skb);
832         }
833
834         bh_unlock_sock(child);
835         sock_put(child);
836         return ret;
837 }
838 EXPORT_SYMBOL(tcp_child_process);