include/net/xfrm.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 #ifndef _NET_XFRM_H
   3 #define _NET_XFRM_H
   4
   5 #include <linux/compiler.h>
   6 #include <linux/xfrm.h>
   7 #include <linux/spinlock.h>
   8 #include <linux/list.h>
   9 #include <linux/skbuff.h>
  10 #include <linux/socket.h>
  11 #include <linux/pfkeyv2.h>
  12 #include <linux/ipsec.h>
  13 #include <linux/in6.h>
  14 #include <linux/mutex.h>
  15 #include <linux/audit.h>
  16 #include <linux/slab.h>
  17 #include <linux/refcount.h>
  18 #include <linux/sockptr.h>
  19
  20 #include <net/sock.h>
  21 #include <net/dst.h>
  22 #include <net/ip.h>
  23 #include <net/route.h>
  24 #include <net/ipv6.h>
  25 #include <net/ip6_fib.h>
  26 #include <net/flow.h>
  27 #include <net/gro_cells.h>
  28
  29 #include <linux/interrupt.h>
  30
  31 #ifdef CONFIG_XFRM_STATISTICS
  32 #include <net/snmp.h>
  33 #endif
  34
  35 #define XFRM_PROTO_ESP          50
  36 #define XFRM_PROTO_AH           51
  37 #define XFRM_PROTO_COMP         108
  38 #define XFRM_PROTO_IPIP         4
  39 #define XFRM_PROTO_IPV6         41
  40 #define XFRM_PROTO_ROUTING      IPPROTO_ROUTING
  41 #define XFRM_PROTO_DSTOPTS      IPPROTO_DSTOPTS
  42
  43 #define XFRM_ALIGN4(len)        (((len) + 3) & ~3)
  44 #define XFRM_ALIGN8(len)        (((len) + 7) & ~7)
  45 #define MODULE_ALIAS_XFRM_MODE(family, encap) \
  46         MODULE_ALIAS("xfrm-mode-" __stringify(family) "-" __stringify(encap))
  47 #define MODULE_ALIAS_XFRM_TYPE(family, proto) \
  48         MODULE_ALIAS("xfrm-type-" __stringify(family) "-" __stringify(proto))
  49 #define MODULE_ALIAS_XFRM_OFFLOAD_TYPE(family, proto) \
  50         MODULE_ALIAS("xfrm-offload-" __stringify(family) "-" __stringify(proto))
  51
  52 #ifdef CONFIG_XFRM_STATISTICS
  53 #define XFRM_INC_STATS(net, field)      SNMP_INC_STATS((net)->mib.xfrm_statistics, field)
  54 #else
  55 #define XFRM_INC_STATS(net, field)      ((void)(net))
  56 #endif
  57
  58
  59 /* Organization of SPD aka "XFRM rules"
  60    ------------------------------------
  61
  62    Basic objects:
  63    - policy rule, struct xfrm_policy (=SPD entry)
  64    - bundle of transformations, struct dst_entry == struct xfrm_dst (=SA bundle)
  65    - instance of a transformer, struct xfrm_state (=SA)
  66    - template to clone xfrm_state, struct xfrm_tmpl
  67
  68    SPD is plain linear list of xfrm_policy rules, ordered by priority.
  69    (To be compatible with existing pfkeyv2 implementations,
  70    many rules with priority of 0x7fffffff are allowed to exist and
  71    such rules are ordered in an unpredictable way, thanks to bsd folks.)
  72
  73    Lookup is plain linear search until the first match with selector.
  74
  75    If "action" is "block", then we prohibit the flow, otherwise:
  76    if "xfrms_nr" is zero, the flow passes untransformed. Otherwise,
  77    policy entry has list of up to XFRM_MAX_DEPTH transformations,
  78    described by templates xfrm_tmpl. Each template is resolved
  79    to a complete xfrm_state (see below) and we pack bundle of transformations
  80    to a dst_entry returned to requestor.
  81
  82    dst -. xfrm  .-> xfrm_state #1
  83     |---. child .-> dst -. xfrm .-> xfrm_state #2
  84                      |---. child .-> dst -. xfrm .-> xfrm_state #3
  85                                       |---. child .-> NULL
  86
  87    Bundles are cached at xrfm_policy struct (field ->bundles).
  88
  89
  90    Resolution of xrfm_tmpl
  91    -----------------------
  92    Template contains:
  93    1. ->mode            Mode: transport or tunnel
  94    2. ->id.proto        Protocol: AH/ESP/IPCOMP
  95    3. ->id.daddr        Remote tunnel endpoint, ignored for transport mode.
  96       Q: allow to resolve security gateway?
  97    4. ->id.spi          If not zero, static SPI.
  98    5. ->saddr           Local tunnel endpoint, ignored for transport mode.
  99    6. ->algos           List of allowed algos. Plain bitmask now.
 100       Q: ealgos, aalgos, calgos. What a mess...
 101    7. ->share           Sharing mode.
 102       Q: how to implement private sharing mode? To add struct sock* to
 103       flow id?
 104
 105    Having this template we search through SAD searching for entries
 106    with appropriate mode/proto/algo, permitted by selector.
 107    If no appropriate entry found, it is requested from key manager.
 108
 109    PROBLEMS:
 110    Q: How to find all the bundles referring to a physical path for
 111       PMTU discovery? Seems, dst should contain list of all parents...
 112       and enter to infinite locking hierarchy disaster.
 113       No! It is easier, we will not search for them, let them find us.
 114       We add genid to each dst plus pointer to genid of raw IP route,
 115       pmtu disc will update pmtu on raw IP route and increase its genid.
 116       dst_check() will see this for top level and trigger resyncing
 117       metrics. Plus, it will be made via sk->sk_dst_cache. Solved.
 118  */
 119
 120 struct xfrm_state_walk {
 121         struct list_head        all;
 122         u8                      state;
 123         u8                      dying;
 124         u8                      proto;
 125         u32                     seq;
 126         struct xfrm_address_filter *filter;
 127 };
 128
 129 enum {
 130         XFRM_DEV_OFFLOAD_IN = 1,
 131         XFRM_DEV_OFFLOAD_OUT,
 132         XFRM_DEV_OFFLOAD_FWD,
 133 };
 134
 135 enum {
 136         XFRM_DEV_OFFLOAD_UNSPECIFIED,
 137         XFRM_DEV_OFFLOAD_CRYPTO,
 138         XFRM_DEV_OFFLOAD_PACKET,
 139 };
 140
 141 enum {
 142         XFRM_DEV_OFFLOAD_FLAG_ACQ = 1,
 143 };
 144
 145 struct xfrm_dev_offload {
 146         struct net_device       *dev;
 147         netdevice_tracker       dev_tracker;
 148         struct net_device       *real_dev;
 149         unsigned long           offload_handle;
 150         u8                      dir : 2;
 151         u8                      type : 2;
 152         u8                      flags : 2;
 153 };
 154
 155 struct xfrm_mode {
 156         u8 encap;
 157         u8 family;
 158         u8 flags;
 159 };
 160
 161 /* Flags for xfrm_mode. */
 162 enum {
 163         XFRM_MODE_FLAG_TUNNEL = 1,
 164 };
 165
 166 enum xfrm_replay_mode {
 167         XFRM_REPLAY_MODE_LEGACY,
 168         XFRM_REPLAY_MODE_BMP,
 169         XFRM_REPLAY_MODE_ESN,
 170 };
 171
 172 /* Full description of state of transformer. */
 173 struct xfrm_state {
 174         possible_net_t          xs_net;
 175         union {
 176                 struct hlist_node       gclist;
 177                 struct hlist_node       bydst;
 178         };
 179         struct hlist_node       bysrc;
 180         struct hlist_node       byspi;
 181         struct hlist_node       byseq;
 182
 183         refcount_t              refcnt;
 184         spinlock_t              lock;
 185
 186         struct xfrm_id          id;
 187         struct xfrm_selector    sel;
 188         struct xfrm_mark        mark;
 189         u32                     if_id;
 190         u32                     tfcpad;
 191
 192         u32                     genid;
 193
 194         /* Key manager bits */
 195         struct xfrm_state_walk  km;
 196
 197         /* Parameters of this state. */
 198         struct {
 199                 u32             reqid;
 200                 u8              mode;
 201                 u8              replay_window;
 202                 u8              aalgo, ealgo, calgo;
 203                 u8              flags;
 204                 u16             family;
 205                 xfrm_address_t  saddr;
 206                 int             header_len;
 207                 int             trailer_len;
 208                 u32             extra_flags;
 209                 struct xfrm_mark        smark;
 210         } props;
 211
 212         struct xfrm_lifetime_cfg lft;
 213
 214         /* Data for transformer */
 215         struct xfrm_algo_auth   *aalg;
 216         struct xfrm_algo        *ealg;
 217         struct xfrm_algo        *calg;
 218         struct xfrm_algo_aead   *aead;
 219         const char              *geniv;
 220
 221         /* mapping change rate limiting */
 222         __be16 new_mapping_sport;
 223         u32 new_mapping;        /* seconds */
 224         u32 mapping_maxage;     /* seconds for input SA */
 225
 226         /* Data for encapsulator */
 227         struct xfrm_encap_tmpl  *encap;
 228         struct sock __rcu       *encap_sk;
 229
 230         /* Data for care-of address */
 231         xfrm_address_t  *coaddr;
 232
 233         /* IPComp needs an IPIP tunnel for handling uncompressed packets */
 234         struct xfrm_state       *tunnel;
 235
 236         /* If a tunnel, number of users + 1 */
 237         atomic_t                tunnel_users;
 238
 239         /* State for replay detection */
 240         struct xfrm_replay_state replay;
 241         struct xfrm_replay_state_esn *replay_esn;
 242
 243         /* Replay detection state at the time we sent the last notification */
 244         struct xfrm_replay_state preplay;
 245         struct xfrm_replay_state_esn *preplay_esn;
 246
 247         /* replay detection mode */
 248         enum xfrm_replay_mode    repl_mode;
 249         /* internal flag that only holds state for delayed aevent at the
 250          * moment
 251         */
 252         u32                     xflags;
 253
 254         /* Replay detection notification settings */
 255         u32                     replay_maxage;
 256         u32                     replay_maxdiff;
 257
 258         /* Replay detection notification timer */
 259         struct timer_list       rtimer;
 260
 261         /* Statistics */
 262         struct xfrm_stats       stats;
 263
 264         struct xfrm_lifetime_cur curlft;
 265         struct hrtimer          mtimer;
 266
 267         struct xfrm_dev_offload xso;
 268
 269         /* used to fix curlft->add_time when changing date */
 270         long            saved_tmo;
 271
 272         /* Last used time */
 273         time64_t                lastused;
 274
 275         struct page_frag xfrag;
 276
 277         /* Reference to data common to all the instances of this
 278          * transformer. */
 279         const struct xfrm_type  *type;
 280         struct xfrm_mode        inner_mode;
 281         struct xfrm_mode        inner_mode_iaf;
 282         struct xfrm_mode        outer_mode;
 283
 284         const struct xfrm_type_offload  *type_offload;
 285
 286         /* Security context */
 287         struct xfrm_sec_ctx     *security;
 288
 289         /* Private data of this transformer, format is opaque,
 290          * interpreted by xfrm_type methods. */
 291         void                    *data;
 292 };
 293
 294 static inline struct net *xs_net(struct xfrm_state *x)
 295 {
 296         return read_pnet(&x->xs_net);
 297 }
 298
 299 /* xflags - make enum if more show up */
 300 #define XFRM_TIME_DEFER 1
 301 #define XFRM_SOFT_EXPIRE 2
 302
 303 enum {
 304         XFRM_STATE_VOID,
 305         XFRM_STATE_ACQ,
 306         XFRM_STATE_VALID,
 307         XFRM_STATE_ERROR,
 308         XFRM_STATE_EXPIRED,
 309         XFRM_STATE_DEAD
 310 };
 311
 312 /* callback structure passed from either netlink or pfkey */
 313 struct km_event {
 314         union {
 315                 u32 hard;
 316                 u32 proto;
 317                 u32 byid;
 318                 u32 aevent;
 319                 u32 type;
 320         } data;
 321
 322         u32     seq;
 323         u32     portid;
 324         u32     event;
 325         struct net *net;
 326 };
 327
 328 struct xfrm_if_decode_session_result {
 329         struct net *net;
 330         u32 if_id;
 331 };
 332
 333 struct xfrm_if_cb {
 334         bool (*decode_session)(struct sk_buff *skb,
 335                                unsigned short family,
 336                                struct xfrm_if_decode_session_result *res);
 337 };
 338
 339 void xfrm_if_register_cb(const struct xfrm_if_cb *ifcb);
 340 void xfrm_if_unregister_cb(void);
 341
 342 struct net_device;
 343 struct xfrm_type;
 344 struct xfrm_dst;
 345 struct xfrm_policy_afinfo {
 346         struct dst_ops          *dst_ops;
 347         struct dst_entry        *(*dst_lookup)(struct net *net,
 348                                                int tos, int oif,
 349                                                const xfrm_address_t *saddr,
 350                                                const xfrm_address_t *daddr,
 351                                                u32 mark);
 352         int                     (*get_saddr)(struct net *net, int oif,
 353                                              xfrm_address_t *saddr,
 354                                              xfrm_address_t *daddr,
 355                                              u32 mark);
 356         int                     (*fill_dst)(struct xfrm_dst *xdst,
 357                                             struct net_device *dev,
 358                                             const struct flowi *fl);
 359         struct dst_entry        *(*blackhole_route)(struct net *net, struct dst_entry *orig);
 360 };
 361
 362 int xfrm_policy_register_afinfo(const struct xfrm_policy_afinfo *afinfo, int family);
 363 void xfrm_policy_unregister_afinfo(const struct xfrm_policy_afinfo *afinfo);
 364 void km_policy_notify(struct xfrm_policy *xp, int dir,
 365                       const struct km_event *c);
 366 void km_state_notify(struct xfrm_state *x, const struct km_event *c);
 367
 368 struct xfrm_tmpl;
 369 int km_query(struct xfrm_state *x, struct xfrm_tmpl *t,
 370              struct xfrm_policy *pol);
 371 void km_state_expired(struct xfrm_state *x, int hard, u32 portid);
 372 int __xfrm_state_delete(struct xfrm_state *x);
 373
 374 struct xfrm_state_afinfo {
 375         u8                              family;
 376         u8                              proto;
 377
 378         const struct xfrm_type_offload *type_offload_esp;
 379
 380         const struct xfrm_type          *type_esp;
 381         const struct xfrm_type          *type_ipip;
 382         const struct xfrm_type          *type_ipip6;
 383         const struct xfrm_type          *type_comp;
 384         const struct xfrm_type          *type_ah;
 385         const struct xfrm_type          *type_routing;
 386         const struct xfrm_type          *type_dstopts;
 387
 388         int                     (*output)(struct net *net, struct sock *sk, struct sk_buff *skb);
 389         int                     (*transport_finish)(struct sk_buff *skb,
 390                                                     int async);
 391         void                    (*local_error)(struct sk_buff *skb, u32 mtu);
 392 };
 393
 394 int xfrm_state_register_afinfo(struct xfrm_state_afinfo *afinfo);
 395 int xfrm_state_unregister_afinfo(struct xfrm_state_afinfo *afinfo);
 396 struct xfrm_state_afinfo *xfrm_state_get_afinfo(unsigned int family);
 397 struct xfrm_state_afinfo *xfrm_state_afinfo_get_rcu(unsigned int family);
 398
 399 struct xfrm_input_afinfo {
 400         u8                      family;
 401         bool                    is_ipip;
 402         int                     (*callback)(struct sk_buff *skb, u8 protocol,
 403                                             int err);
 404 };
 405
 406 int xfrm_input_register_afinfo(const struct xfrm_input_afinfo *afinfo);
 407 int xfrm_input_unregister_afinfo(const struct xfrm_input_afinfo *afinfo);
 408
 409 void xfrm_flush_gc(void);
 410 void xfrm_state_delete_tunnel(struct xfrm_state *x);
 411
 412 struct xfrm_type {
 413         struct module           *owner;
 414         u8                      proto;
 415         u8                      flags;
 416 #define XFRM_TYPE_NON_FRAGMENT  1
 417 #define XFRM_TYPE_REPLAY_PROT   2
 418 #define XFRM_TYPE_LOCAL_COADDR  4
 419 #define XFRM_TYPE_REMOTE_COADDR 8
 420
 421         int                     (*init_state)(struct xfrm_state *x,
 422                                               struct netlink_ext_ack *extack);
 423         void                    (*destructor)(struct xfrm_state *);
 424         int                     (*input)(struct xfrm_state *, struct sk_buff *skb);
 425         int                     (*output)(struct xfrm_state *, struct sk_buff *pskb);
 426         int                     (*reject)(struct xfrm_state *, struct sk_buff *,
 427                                           const struct flowi *);
 428 };
 429
 430 int xfrm_register_type(const struct xfrm_type *type, unsigned short family);
 431 void xfrm_unregister_type(const struct xfrm_type *type, unsigned short family);
 432
 433 struct xfrm_type_offload {
 434         struct module   *owner;
 435         u8              proto;
 436         void            (*encap)(struct xfrm_state *, struct sk_buff *pskb);
 437         int             (*input_tail)(struct xfrm_state *x, struct sk_buff *skb);
 438         int             (*xmit)(struct xfrm_state *, struct sk_buff *pskb, netdev_features_t features);
 439 };
 440
 441 int xfrm_register_type_offload(const struct xfrm_type_offload *type, unsigned short family);
 442 void xfrm_unregister_type_offload(const struct xfrm_type_offload *type, unsigned short family);
 443
 444 static inline int xfrm_af2proto(unsigned int family)
 445 {
 446         switch(family) {
 447         case AF_INET:
 448                 return IPPROTO_IPIP;
 449         case AF_INET6:
 450                 return IPPROTO_IPV6;
 451         default:
 452                 return 0;
 453         }
 454 }
 455
 456 static inline const struct xfrm_mode *xfrm_ip2inner_mode(struct xfrm_state *x, int ipproto)
 457 {
 458         if ((ipproto == IPPROTO_IPIP && x->props.family == AF_INET) ||
 459             (ipproto == IPPROTO_IPV6 && x->props.family == AF_INET6))
 460                 return &x->inner_mode;
 461         else
 462                 return &x->inner_mode_iaf;
 463 }
 464
 465 struct xfrm_tmpl {
 466 /* id in template is interpreted as:
 467  * daddr - destination of tunnel, may be zero for transport mode.
 468  * spi   - zero to acquire spi. Not zero if spi is static, then
 469  *         daddr must be fixed too.
 470  * proto - AH/ESP/IPCOMP
 471  */
 472         struct xfrm_id          id;
 473
 474 /* Source address of tunnel. Ignored, if it is not a tunnel. */
 475         xfrm_address_t          saddr;
 476
 477         unsigned short          encap_family;
 478
 479         u32                     reqid;
 480
 481 /* Mode: transport, tunnel etc. */
 482         u8                      mode;
 483
 484 /* Sharing mode: unique, this session only, this user only etc. */
 485         u8                      share;
 486
 487 /* May skip this transfomration if no SA is found */
 488         u8                      optional;
 489
 490 /* Skip aalgos/ealgos/calgos checks. */
 491         u8                      allalgs;
 492
 493 /* Bit mask of algos allowed for acquisition */
 494         u32                     aalgos;
 495         u32                     ealgos;
 496         u32                     calgos;
 497 };
 498
 499 #define XFRM_MAX_DEPTH          6
 500 #define XFRM_MAX_OFFLOAD_DEPTH  1
 501
 502 struct xfrm_policy_walk_entry {
 503         struct list_head        all;
 504         u8                      dead;
 505 };
 506
 507 struct xfrm_policy_walk {
 508         struct xfrm_policy_walk_entry walk;
 509         u8 type;
 510         u32 seq;
 511 };
 512
 513 struct xfrm_policy_queue {
 514         struct sk_buff_head     hold_queue;
 515         struct timer_list       hold_timer;
 516         unsigned long           timeout;
 517 };
 518
 519 struct xfrm_policy {
 520         possible_net_t          xp_net;
 521         struct hlist_node       bydst;
 522         struct hlist_node       byidx;
 523
 524         /* This lock only affects elements except for entry. */
 525         rwlock_t                lock;
 526         refcount_t              refcnt;
 527         u32                     pos;
 528         struct timer_list       timer;
 529
 530         atomic_t                genid;
 531         u32                     priority;
 532         u32                     index;
 533         u32                     if_id;
 534         struct xfrm_mark        mark;
 535         struct xfrm_selector    selector;
 536         struct xfrm_lifetime_cfg lft;
 537         struct xfrm_lifetime_cur curlft;
 538         struct xfrm_policy_walk_entry walk;
 539         struct xfrm_policy_queue polq;
 540         bool                    bydst_reinsert;
 541         u8                      type;
 542         u8                      action;
 543         u8                      flags;
 544         u8                      xfrm_nr;
 545         u16                     family;
 546         struct xfrm_sec_ctx     *security;
 547         struct xfrm_tmpl        xfrm_vec[XFRM_MAX_DEPTH];
 548         struct hlist_node       bydst_inexact_list;
 549         struct rcu_head         rcu;
 550
 551         struct xfrm_dev_offload xdo;
 552 };
 553
 554 static inline struct net *xp_net(const struct xfrm_policy *xp)
 555 {
 556         return read_pnet(&xp->xp_net);
 557 }
 558
 559 struct xfrm_kmaddress {
 560         xfrm_address_t          local;
 561         xfrm_address_t          remote;
 562         u32                     reserved;
 563         u16                     family;
 564 };
 565
 566 struct xfrm_migrate {
 567         xfrm_address_t          old_daddr;
 568         xfrm_address_t          old_saddr;
 569         xfrm_address_t          new_daddr;
 570         xfrm_address_t          new_saddr;
 571         u8                      proto;
 572         u8                      mode;
 573         u16                     reserved;
 574         u32                     reqid;
 575         u16                     old_family;
 576         u16                     new_family;
 577 };
 578
 579 #define XFRM_KM_TIMEOUT                30
 580 /* what happened */
 581 #define XFRM_REPLAY_UPDATE      XFRM_AE_CR
 582 #define XFRM_REPLAY_TIMEOUT     XFRM_AE_CE
 583
 584 /* default aevent timeout in units of 100ms */
 585 #define XFRM_AE_ETIME                   10
 586 /* Async Event timer multiplier */
 587 #define XFRM_AE_ETH_M                   10
 588 /* default seq threshold size */
 589 #define XFRM_AE_SEQT_SIZE               2
 590
 591 struct xfrm_mgr {
 592         struct list_head        list;
 593         int                     (*notify)(struct xfrm_state *x, const struct km_event *c);
 594         int                     (*acquire)(struct xfrm_state *x, struct xfrm_tmpl *, struct xfrm_policy *xp);
 595         struct xfrm_policy      *(*compile_policy)(struct sock *sk, int opt, u8 *data, int len, int *dir);
 596         int                     (*new_mapping)(struct xfrm_state *x, xfrm_address_t *ipaddr, __be16 sport);
 597         int                     (*notify_policy)(struct xfrm_policy *x, int dir, const struct km_event *c);
 598         int                     (*report)(struct net *net, u8 proto, struct xfrm_selector *sel, xfrm_address_t *addr);
 599         int                     (*migrate)(const struct xfrm_selector *sel,
 600                                            u8 dir, u8 type,
 601                                            const struct xfrm_migrate *m,
 602                                            int num_bundles,
 603                                            const struct xfrm_kmaddress *k,
 604                                            const struct xfrm_encap_tmpl *encap);
 605         bool                    (*is_alive)(const struct km_event *c);
 606 };
 607
 608 void xfrm_register_km(struct xfrm_mgr *km);
 609 void xfrm_unregister_km(struct xfrm_mgr *km);
 610
 611 struct xfrm_tunnel_skb_cb {
 612         union {
 613                 struct inet_skb_parm h4;
 614                 struct inet6_skb_parm h6;
 615         } header;
 616
 617         union {
 618                 struct ip_tunnel *ip4;
 619                 struct ip6_tnl *ip6;
 620         } tunnel;
 621 };
 622
 623 #define XFRM_TUNNEL_SKB_CB(__skb) ((struct xfrm_tunnel_skb_cb *)&((__skb)->cb[0]))
 624
 625 /*
 626  * This structure is used for the duration where packets are being
 627  * transformed by IPsec.  As soon as the packet leaves IPsec the
 628  * area beyond the generic IP part may be overwritten.
 629  */
 630 struct xfrm_skb_cb {
 631         struct xfrm_tunnel_skb_cb header;
 632
 633         /* Sequence number for replay protection. */
 634         union {
 635                 struct {
 636                         __u32 low;
 637                         __u32 hi;
 638                 } output;
 639                 struct {
 640                         __be32 low;
 641                         __be32 hi;
 642                 } input;
 643         } seq;
 644 };
 645
 646 #define XFRM_SKB_CB(__skb) ((struct xfrm_skb_cb *)&((__skb)->cb[0]))
 647
 648 /*
 649  * This structure is used by the afinfo prepare_input/prepare_output functions
 650  * to transmit header information to the mode input/output functions.
 651  */
 652 struct xfrm_mode_skb_cb {
 653         struct xfrm_tunnel_skb_cb header;
 654
 655         /* Copied from header for IPv4, always set to zero and DF for IPv6. */
 656         __be16 id;
 657         __be16 frag_off;
 658
 659         /* IP header length (excluding options or extension headers). */
 660         u8 ihl;
 661
 662         /* TOS for IPv4, class for IPv6. */
 663         u8 tos;
 664
 665         /* TTL for IPv4, hop limitfor IPv6. */
 666         u8 ttl;
 667
 668         /* Protocol for IPv4, NH for IPv6. */
 669         u8 protocol;
 670
 671         /* Option length for IPv4, zero for IPv6. */
 672         u8 optlen;
 673
 674         /* Used by IPv6 only, zero for IPv4. */
 675         u8 flow_lbl[3];
 676 };
 677
 678 #define XFRM_MODE_SKB_CB(__skb) ((struct xfrm_mode_skb_cb *)&((__skb)->cb[0]))
 679
 680 /*
 681  * This structure is used by the input processing to locate the SPI and
 682  * related information.
 683  */
 684 struct xfrm_spi_skb_cb {
 685         struct xfrm_tunnel_skb_cb header;
 686
 687         unsigned int daddroff;
 688         unsigned int family;
 689         __be32 seq;
 690 };
 691
 692 #define XFRM_SPI_SKB_CB(__skb) ((struct xfrm_spi_skb_cb *)&((__skb)->cb[0]))
 693
 694 #ifdef CONFIG_AUDITSYSCALL
 695 static inline struct audit_buffer *xfrm_audit_start(const char *op)
 696 {
 697         struct audit_buffer *audit_buf = NULL;
 698
 699         if (audit_enabled == AUDIT_OFF)
 700                 return NULL;
 701         audit_buf = audit_log_start(audit_context(), GFP_ATOMIC,
 702                                     AUDIT_MAC_IPSEC_EVENT);
 703         if (audit_buf == NULL)
 704                 return NULL;
 705         audit_log_format(audit_buf, "op=%s", op);
 706         return audit_buf;
 707 }
 708
 709 static inline void xfrm_audit_helper_usrinfo(bool task_valid,
 710                                              struct audit_buffer *audit_buf)
 711 {
 712         const unsigned int auid = from_kuid(&init_user_ns, task_valid ?
 713                                             audit_get_loginuid(current) :
 714                                             INVALID_UID);
 715         const unsigned int ses = task_valid ? audit_get_sessionid(current) :
 716                 AUDIT_SID_UNSET;
 717
 718         audit_log_format(audit_buf, " auid=%u ses=%u", auid, ses);
 719         audit_log_task_context(audit_buf);
 720 }
 721
 722 void xfrm_audit_policy_add(struct xfrm_policy *xp, int result, bool task_valid);
 723 void xfrm_audit_policy_delete(struct xfrm_policy *xp, int result,
 724                               bool task_valid);
 725 void xfrm_audit_state_add(struct xfrm_state *x, int result, bool task_valid);
 726 void xfrm_audit_state_delete(struct xfrm_state *x, int result, bool task_valid);
 727 void xfrm_audit_state_replay_overflow(struct xfrm_state *x,
 728                                       struct sk_buff *skb);
 729 void xfrm_audit_state_replay(struct xfrm_state *x, struct sk_buff *skb,
 730                              __be32 net_seq);
 731 void xfrm_audit_state_notfound_simple(struct sk_buff *skb, u16 family);
 732 void xfrm_audit_state_notfound(struct sk_buff *skb, u16 family, __be32 net_spi,
 733                                __be32 net_seq);
 734 void xfrm_audit_state_icvfail(struct xfrm_state *x, struct sk_buff *skb,
 735                               u8 proto);
 736 #else
 737
 738 static inline void xfrm_audit_policy_add(struct xfrm_policy *xp, int result,
 739                                          bool task_valid)
 740 {
 741 }
 742
 743 static inline void xfrm_audit_policy_delete(struct xfrm_policy *xp, int result,
 744                                             bool task_valid)
 745 {
 746 }
 747
 748 static inline void xfrm_audit_state_add(struct xfrm_state *x, int result,
 749                                         bool task_valid)
 750 {
 751 }
 752
 753 static inline void xfrm_audit_state_delete(struct xfrm_state *x, int result,
 754                                            bool task_valid)
 755 {
 756 }
 757
 758 static inline void xfrm_audit_state_replay_overflow(struct xfrm_state *x,
 759                                              struct sk_buff *skb)
 760 {
 761 }
 762
 763 static inline void xfrm_audit_state_replay(struct xfrm_state *x,
 764                                            struct sk_buff *skb, __be32 net_seq)
 765 {
 766 }
 767
 768 static inline void xfrm_audit_state_notfound_simple(struct sk_buff *skb,
 769                                       u16 family)
 770 {
 771 }
 772
 773 static inline void xfrm_audit_state_notfound(struct sk_buff *skb, u16 family,
 774                                       __be32 net_spi, __be32 net_seq)
 775 {
 776 }
 777
 778 static inline void xfrm_audit_state_icvfail(struct xfrm_state *x,
 779                                      struct sk_buff *skb, u8 proto)
 780 {
 781 }
 782 #endif /* CONFIG_AUDITSYSCALL */
 783
 784 static inline void xfrm_pol_hold(struct xfrm_policy *policy)
 785 {
 786         if (likely(policy != NULL))
 787                 refcount_inc(&policy->refcnt);
 788 }
 789
 790 void xfrm_policy_destroy(struct xfrm_policy *policy);
 791
 792 static inline void xfrm_pol_put(struct xfrm_policy *policy)
 793 {
 794         if (refcount_dec_and_test(&policy->refcnt))
 795                 xfrm_policy_destroy(policy);
 796 }
 797
 798 static inline void xfrm_pols_put(struct xfrm_policy **pols, int npols)
 799 {
 800         int i;
 801         for (i = npols - 1; i >= 0; --i)
 802                 xfrm_pol_put(pols[i]);
 803 }
 804
 805 void __xfrm_state_destroy(struct xfrm_state *, bool);
 806
 807 static inline void __xfrm_state_put(struct xfrm_state *x)
 808 {
 809         refcount_dec(&x->refcnt);
 810 }
 811
 812 static inline void xfrm_state_put(struct xfrm_state *x)
 813 {
 814         if (refcount_dec_and_test(&x->refcnt))
 815                 __xfrm_state_destroy(x, false);
 816 }
 817
 818 static inline void xfrm_state_put_sync(struct xfrm_state *x)
 819 {
 820         if (refcount_dec_and_test(&x->refcnt))
 821                 __xfrm_state_destroy(x, true);
 822 }
 823
 824 static inline void xfrm_state_hold(struct xfrm_state *x)
 825 {
 826         refcount_inc(&x->refcnt);
 827 }
 828
 829 static inline bool addr_match(const void *token1, const void *token2,
 830                               unsigned int prefixlen)
 831 {
 832         const __be32 *a1 = token1;
 833         const __be32 *a2 = token2;
 834         unsigned int pdw;
 835         unsigned int pbi;
 836
 837         pdw = prefixlen >> 5;     /* num of whole u32 in prefix */
 838         pbi = prefixlen &  0x1f;  /* num of bits in incomplete u32 in prefix */
 839
 840         if (pdw)
 841                 if (memcmp(a1, a2, pdw << 2))
 842                         return false;
 843
 844         if (pbi) {
 845                 __be32 mask;
 846
 847                 mask = htonl((0xffffffff) << (32 - pbi));
 848
 849                 if ((a1[pdw] ^ a2[pdw]) & mask)
 850                         return false;
 851         }
 852
 853         return true;
 854 }
 855
 856 static inline bool addr4_match(__be32 a1, __be32 a2, u8 prefixlen)
 857 {
 858         /* C99 6.5.7 (3): u32 << 32 is undefined behaviour */
 859         if (sizeof(long) == 4 && prefixlen == 0)
 860                 return true;
 861         return !((a1 ^ a2) & htonl(~0UL << (32 - prefixlen)));
 862 }
 863
 864 static __inline__
 865 __be16 xfrm_flowi_sport(const struct flowi *fl, const union flowi_uli *uli)
 866 {
 867         __be16 port;
 868         switch(fl->flowi_proto) {
 869         case IPPROTO_TCP:
 870         case IPPROTO_UDP:
 871         case IPPROTO_UDPLITE:
 872         case IPPROTO_SCTP:
 873                 port = uli->ports.sport;
 874                 break;
 875         case IPPROTO_ICMP:
 876         case IPPROTO_ICMPV6:
 877                 port = htons(uli->icmpt.type);
 878                 break;
 879         case IPPROTO_MH:
 880                 port = htons(uli->mht.type);
 881                 break;
 882         case IPPROTO_GRE:
 883                 port = htons(ntohl(uli->gre_key) >> 16);
 884                 break;
 885         default:
 886                 port = 0;       /*XXX*/
 887         }
 888         return port;
 889 }
 890
 891 static __inline__
 892 __be16 xfrm_flowi_dport(const struct flowi *fl, const union flowi_uli *uli)
 893 {
 894         __be16 port;
 895         switch(fl->flowi_proto) {
 896         case IPPROTO_TCP:
 897         case IPPROTO_UDP:
 898         case IPPROTO_UDPLITE:
 899         case IPPROTO_SCTP:
 900                 port = uli->ports.dport;
 901                 break;
 902         case IPPROTO_ICMP:
 903         case IPPROTO_ICMPV6:
 904                 port = htons(uli->icmpt.code);
 905                 break;
 906         case IPPROTO_GRE:
 907                 port = htons(ntohl(uli->gre_key) & 0xffff);
 908                 break;
 909         default:
 910                 port = 0;       /*XXX*/
 911         }
 912         return port;
 913 }
 914
 915 bool xfrm_selector_match(const struct xfrm_selector *sel,
 916                          const struct flowi *fl, unsigned short family);
 917
 918 #ifdef CONFIG_SECURITY_NETWORK_XFRM
 919 /*      If neither has a context --> match
 920  *      Otherwise, both must have a context and the sids, doi, alg must match
 921  */
 922 static inline bool xfrm_sec_ctx_match(struct xfrm_sec_ctx *s1, struct xfrm_sec_ctx *s2)
 923 {
 924         return ((!s1 && !s2) ||
 925                 (s1 && s2 &&
 926                  (s1->ctx_sid == s2->ctx_sid) &&
 927                  (s1->ctx_doi == s2->ctx_doi) &&
 928                  (s1->ctx_alg == s2->ctx_alg)));
 929 }
 930 #else
 931 static inline bool xfrm_sec_ctx_match(struct xfrm_sec_ctx *s1, struct xfrm_sec_ctx *s2)
 932 {
 933         return true;
 934 }
 935 #endif
 936
 937 /* A struct encoding bundle of transformations to apply to some set of flow.
 938  *
 939  * xdst->child points to the next element of bundle.
 940  * dst->xfrm  points to an instanse of transformer.
 941  *
 942  * Due to unfortunate limitations of current routing cache, which we
 943  * have no time to fix, it mirrors struct rtable and bound to the same
 944  * routing key, including saddr,daddr. However, we can have many of
 945  * bundles differing by session id. All the bundles grow from a parent
 946  * policy rule.
 947  */
 948 struct xfrm_dst {
 949         union {
 950                 struct dst_entry        dst;
 951                 struct rtable           rt;
 952                 struct rt6_info         rt6;
 953         } u;
 954         struct dst_entry *route;
 955         struct dst_entry *child;
 956         struct dst_entry *path;
 957         struct xfrm_policy *pols[XFRM_POLICY_TYPE_MAX];
 958         int num_pols, num_xfrms;
 959         u32 xfrm_genid;
 960         u32 policy_genid;
 961         u32 route_mtu_cached;
 962         u32 child_mtu_cached;
 963         u32 route_cookie;
 964         u32 path_cookie;
 965 };
 966
 967 static inline struct dst_entry *xfrm_dst_path(const struct dst_entry *dst)
 968 {
 969 #ifdef CONFIG_XFRM
 970         if (dst->xfrm || (dst->flags & DST_XFRM_QUEUE)) {
 971                 const struct xfrm_dst *xdst = (const struct xfrm_dst *) dst;
 972
 973                 return xdst->path;
 974         }
 975 #endif
 976         return (struct dst_entry *) dst;
 977 }
 978
 979 static inline struct dst_entry *xfrm_dst_child(const struct dst_entry *dst)
 980 {
 981 #ifdef CONFIG_XFRM
 982         if (dst->xfrm || (dst->flags & DST_XFRM_QUEUE)) {
 983                 struct xfrm_dst *xdst = (struct xfrm_dst *) dst;
 984                 return xdst->child;
 985         }
 986 #endif
 987         return NULL;
 988 }
 989
 990 #ifdef CONFIG_XFRM
 991 static inline void xfrm_dst_set_child(struct xfrm_dst *xdst, struct dst_entry *child)
 992 {
 993         xdst->child = child;
 994 }
 995
 996 static inline void xfrm_dst_destroy(struct xfrm_dst *xdst)
 997 {
 998         xfrm_pols_put(xdst->pols, xdst->num_pols);
 999         dst_release(xdst->route);
1000         if (likely(xdst->u.dst.xfrm))
1001                 xfrm_state_put(xdst->u.dst.xfrm);
1002 }
1003 #endif
1004
1005 void xfrm_dst_ifdown(struct dst_entry *dst, struct net_device *dev);
1006
1007 struct xfrm_if_parms {
1008         int link;               /* ifindex of underlying L2 interface */
1009         u32 if_id;              /* interface identifyer */
1010         bool collect_md;
1011 };
1012
1013 struct xfrm_if {
1014         struct xfrm_if __rcu *next;     /* next interface in list */
1015         struct net_device *dev;         /* virtual device associated with interface */
1016         struct net *net;                /* netns for packet i/o */
1017         struct xfrm_if_parms p;         /* interface parms */
1018
1019         struct gro_cells gro_cells;
1020 };
1021
1022 struct xfrm_offload {
1023         /* Output sequence number for replay protection on offloading. */
1024         struct {
1025                 __u32 low;
1026                 __u32 hi;
1027         } seq;
1028
1029         __u32                   flags;
1030 #define SA_DELETE_REQ           1
1031 #define CRYPTO_DONE             2
1032 #define CRYPTO_NEXT_DONE        4
1033 #define CRYPTO_FALLBACK         8
1034 #define XFRM_GSO_SEGMENT        16
1035 #define XFRM_GRO                32
1036 /* 64 is free */
1037 #define XFRM_DEV_RESUME         128
1038 #define XFRM_XMIT               256
1039
1040         __u32                   status;
1041 #define CRYPTO_SUCCESS                          1
1042 #define CRYPTO_GENERIC_ERROR                    2
1043 #define CRYPTO_TRANSPORT_AH_AUTH_FAILED         4
1044 #define CRYPTO_TRANSPORT_ESP_AUTH_FAILED        8
1045 #define CRYPTO_TUNNEL_AH_AUTH_FAILED            16
1046 #define CRYPTO_TUNNEL_ESP_AUTH_FAILED           32
1047 #define CRYPTO_INVALID_PACKET_SYNTAX            64
1048 #define CRYPTO_INVALID_PROTOCOL                 128
1049
1050         __u8                    proto;
1051         __u8                    inner_ipproto;
1052 };
1053
1054 struct sec_path {
1055         int                     len;
1056         int                     olen;
1057
1058         struct xfrm_state       *xvec[XFRM_MAX_DEPTH];
1059         struct xfrm_offload     ovec[XFRM_MAX_OFFLOAD_DEPTH];
1060 };
1061
1062 struct sec_path *secpath_set(struct sk_buff *skb);
1063
1064 static inline void
1065 secpath_reset(struct sk_buff *skb)
1066 {
1067 #ifdef CONFIG_XFRM
1068         skb_ext_del(skb, SKB_EXT_SEC_PATH);
1069 #endif
1070 }
1071
1072 static inline int
1073 xfrm_addr_any(const xfrm_address_t *addr, unsigned short family)
1074 {
1075         switch (family) {
1076         case AF_INET:
1077                 return addr->a4 == 0;
1078         case AF_INET6:
1079                 return ipv6_addr_any(&addr->in6);
1080         }
1081         return 0;
1082 }
1083
1084 static inline int
1085 __xfrm4_state_addr_cmp(const struct xfrm_tmpl *tmpl, const struct xfrm_state *x)
1086 {
1087         return  (tmpl->saddr.a4 &&
1088                  tmpl->saddr.a4 != x->props.saddr.a4);
1089 }
1090
1091 static inline int
1092 __xfrm6_state_addr_cmp(const struct xfrm_tmpl *tmpl, const struct xfrm_state *x)
1093 {
1094         return  (!ipv6_addr_any((struct in6_addr*)&tmpl->saddr) &&
1095                  !ipv6_addr_equal((struct in6_addr *)&tmpl->saddr, (struct in6_addr*)&x->props.saddr));
1096 }
1097
1098 static inline int
1099 xfrm_state_addr_cmp(const struct xfrm_tmpl *tmpl, const struct xfrm_state *x, unsigned short family)
1100 {
1101         switch (family) {
1102         case AF_INET:
1103                 return __xfrm4_state_addr_cmp(tmpl, x);
1104         case AF_INET6:
1105                 return __xfrm6_state_addr_cmp(tmpl, x);
1106         }
1107         return !0;
1108 }
1109
1110 #ifdef CONFIG_XFRM
1111 static inline struct xfrm_state *xfrm_input_state(struct sk_buff *skb)
1112 {
1113         struct sec_path *sp = skb_sec_path(skb);
1114
1115         return sp->xvec[sp->len - 1];
1116 }
1117 #endif
1118
1119 static inline struct xfrm_offload *xfrm_offload(struct sk_buff *skb)
1120 {
1121 #ifdef CONFIG_XFRM
1122         struct sec_path *sp = skb_sec_path(skb);
1123
1124         if (!sp || !sp->olen || sp->len != sp->olen)
1125                 return NULL;
1126
1127         return &sp->ovec[sp->olen - 1];
1128 #else
1129         return NULL;
1130 #endif
1131 }
1132
1133 #ifdef CONFIG_XFRM
1134 int __xfrm_policy_check(struct sock *, int dir, struct sk_buff *skb,
1135                         unsigned short family);
1136
1137 static inline bool __xfrm_check_nopolicy(struct net *net, struct sk_buff *skb,
1138                                          int dir)
1139 {
1140         if (!net->xfrm.policy_count[dir] && !secpath_exists(skb))
1141                 return net->xfrm.policy_default[dir] == XFRM_USERPOLICY_ACCEPT;
1142
1143         return false;
1144 }
1145
1146 static inline bool __xfrm_check_dev_nopolicy(struct sk_buff *skb,
1147                                              int dir, unsigned short family)
1148 {
1149         if (dir != XFRM_POLICY_OUT && family == AF_INET) {
1150                 /* same dst may be used for traffic originating from
1151                  * devices with different policy settings.
1152                  */
1153                 return IPCB(skb)->flags & IPSKB_NOPOLICY;
1154         }
1155         return skb_dst(skb) && (skb_dst(skb)->flags & DST_NOPOLICY);
1156 }
1157
1158 static inline int __xfrm_policy_check2(struct sock *sk, int dir,
1159                                        struct sk_buff *skb,
1160                                        unsigned int family, int reverse)
1161 {
1162         struct net *net = dev_net(skb->dev);
1163         int ndir = dir | (reverse ? XFRM_POLICY_MASK + 1 : 0);
1164         struct xfrm_offload *xo = xfrm_offload(skb);
1165         struct xfrm_state *x;
1166
1167         if (sk && sk->sk_policy[XFRM_POLICY_IN])
1168                 return __xfrm_policy_check(sk, ndir, skb, family);
1169
1170         if (xo) {
1171                 x = xfrm_input_state(skb);
1172                 if (x->xso.type == XFRM_DEV_OFFLOAD_PACKET)
1173                         return (xo->flags & CRYPTO_DONE) &&
1174                                (xo->status & CRYPTO_SUCCESS);
1175         }
1176
1177         return __xfrm_check_nopolicy(net, skb, dir) ||
1178                __xfrm_check_dev_nopolicy(skb, dir, family) ||
1179                __xfrm_policy_check(sk, ndir, skb, family);
1180 }
1181
1182 static inline int xfrm_policy_check(struct sock *sk, int dir, struct sk_buff *skb, unsigned short family)
1183 {
1184         return __xfrm_policy_check2(sk, dir, skb, family, 0);
1185 }
1186
1187 static inline int xfrm4_policy_check(struct sock *sk, int dir, struct sk_buff *skb)
1188 {
1189         return xfrm_policy_check(sk, dir, skb, AF_INET);
1190 }
1191
1192 static inline int xfrm6_policy_check(struct sock *sk, int dir, struct sk_buff *skb)
1193 {
1194         return xfrm_policy_check(sk, dir, skb, AF_INET6);
1195 }
1196
1197 static inline int xfrm4_policy_check_reverse(struct sock *sk, int dir,
1198                                              struct sk_buff *skb)
1199 {
1200         return __xfrm_policy_check2(sk, dir, skb, AF_INET, 1);
1201 }
1202
1203 static inline int xfrm6_policy_check_reverse(struct sock *sk, int dir,
1204                                              struct sk_buff *skb)
1205 {
1206         return __xfrm_policy_check2(sk, dir, skb, AF_INET6, 1);
1207 }
1208
1209 int __xfrm_decode_session(struct sk_buff *skb, struct flowi *fl,
1210                           unsigned int family, int reverse);
1211
1212 static inline int xfrm_decode_session(struct sk_buff *skb, struct flowi *fl,
1213                                       unsigned int family)
1214 {
1215         return __xfrm_decode_session(skb, fl, family, 0);
1216 }
1217
1218 static inline int xfrm_decode_session_reverse(struct sk_buff *skb,
1219                                               struct flowi *fl,
1220                                               unsigned int family)
1221 {
1222         return __xfrm_decode_session(skb, fl, family, 1);
1223 }
1224
1225 int __xfrm_route_forward(struct sk_buff *skb, unsigned short family);
1226
1227 static inline int xfrm_route_forward(struct sk_buff *skb, unsigned short family)
1228 {
1229         struct net *net = dev_net(skb->dev);
1230
1231         if (!net->xfrm.policy_count[XFRM_POLICY_OUT] &&
1232             net->xfrm.policy_default[XFRM_POLICY_OUT] == XFRM_USERPOLICY_ACCEPT)
1233                 return true;
1234
1235         return (skb_dst(skb)->flags & DST_NOXFRM) ||
1236                __xfrm_route_forward(skb, family);
1237 }
1238
1239 static inline int xfrm4_route_forward(struct sk_buff *skb)
1240 {
1241         return xfrm_route_forward(skb, AF_INET);
1242 }
1243
1244 static inline int xfrm6_route_forward(struct sk_buff *skb)
1245 {
1246         return xfrm_route_forward(skb, AF_INET6);
1247 }
1248
1249 int __xfrm_sk_clone_policy(struct sock *sk, const struct sock *osk);
1250
1251 static inline int xfrm_sk_clone_policy(struct sock *sk, const struct sock *osk)
1252 {
1253         if (!sk_fullsock(osk))
1254                 return 0;
1255         sk->sk_policy[0] = NULL;
1256         sk->sk_policy[1] = NULL;
1257         if (unlikely(osk->sk_policy[0] || osk->sk_policy[1]))
1258                 return __xfrm_sk_clone_policy(sk, osk);
1259         return 0;
1260 }
1261
1262 int xfrm_policy_delete(struct xfrm_policy *pol, int dir);
1263
1264 static inline void xfrm_sk_free_policy(struct sock *sk)
1265 {
1266         struct xfrm_policy *pol;
1267
1268         pol = rcu_dereference_protected(sk->sk_policy[0], 1);
1269         if (unlikely(pol != NULL)) {
1270                 xfrm_policy_delete(pol, XFRM_POLICY_MAX);
1271                 sk->sk_policy[0] = NULL;
1272         }
1273         pol = rcu_dereference_protected(sk->sk_policy[1], 1);
1274         if (unlikely(pol != NULL)) {
1275                 xfrm_policy_delete(pol, XFRM_POLICY_MAX+1);
1276                 sk->sk_policy[1] = NULL;
1277         }
1278 }
1279
1280 #else
1281
1282 static inline void xfrm_sk_free_policy(struct sock *sk) {}
1283 static inline int xfrm_sk_clone_policy(struct sock *sk, const struct sock *osk) { return 0; }
1284 static inline int xfrm6_route_forward(struct sk_buff *skb) { return 1; }
1285 static inline int xfrm4_route_forward(struct sk_buff *skb) { return 1; }
1286 static inline int xfrm6_policy_check(struct sock *sk, int dir, struct sk_buff *skb)
1287 {
1288         return 1;
1289 }
1290 static inline int xfrm4_policy_check(struct sock *sk, int dir, struct sk_buff *skb)
1291 {
1292         return 1;
1293 }
1294 static inline int xfrm_policy_check(struct sock *sk, int dir, struct sk_buff *skb, unsigned short family)
1295 {
1296         return 1;
1297 }
1298 static inline int xfrm_decode_session_reverse(struct sk_buff *skb,
1299                                               struct flowi *fl,
1300                                               unsigned int family)
1301 {
1302         return -ENOSYS;
1303 }
1304 static inline int xfrm4_policy_check_reverse(struct sock *sk, int dir,
1305                                              struct sk_buff *skb)
1306 {
1307         return 1;
1308 }
1309 static inline int xfrm6_policy_check_reverse(struct sock *sk, int dir,
1310                                              struct sk_buff *skb)
1311 {
1312         return 1;
1313 }
1314 #endif
1315
1316 static __inline__
1317 xfrm_address_t *xfrm_flowi_daddr(const struct flowi *fl, unsigned short family)
1318 {
1319         switch (family){
1320         case AF_INET:
1321                 return (xfrm_address_t *)&fl->u.ip4.daddr;
1322         case AF_INET6:
1323                 return (xfrm_address_t *)&fl->u.ip6.daddr;
1324         }
1325         return NULL;
1326 }
1327
1328 static __inline__
1329 xfrm_address_t *xfrm_flowi_saddr(const struct flowi *fl, unsigned short family)
1330 {
1331         switch (family){
1332         case AF_INET:
1333                 return (xfrm_address_t *)&fl->u.ip4.saddr;
1334         case AF_INET6:
1335                 return (xfrm_address_t *)&fl->u.ip6.saddr;
1336         }
1337         return NULL;
1338 }
1339
1340 static __inline__
1341 void xfrm_flowi_addr_get(const struct flowi *fl,
1342                          xfrm_address_t *saddr, xfrm_address_t *daddr,
1343                          unsigned short family)
1344 {
1345         switch(family) {
1346         case AF_INET:
1347                 memcpy(&saddr->a4, &fl->u.ip4.saddr, sizeof(saddr->a4));
1348                 memcpy(&daddr->a4, &fl->u.ip4.daddr, sizeof(daddr->a4));
1349                 break;
1350         case AF_INET6:
1351                 saddr->in6 = fl->u.ip6.saddr;
1352                 daddr->in6 = fl->u.ip6.daddr;
1353                 break;
1354         }
1355 }
1356
1357 static __inline__ int
1358 __xfrm4_state_addr_check(const struct xfrm_state *x,
1359                          const xfrm_address_t *daddr, const xfrm_address_t *saddr)
1360 {
1361         if (daddr->a4 == x->id.daddr.a4 &&
1362             (saddr->a4 == x->props.saddr.a4 || !saddr->a4 || !x->props.saddr.a4))
1363                 return 1;
1364         return 0;
1365 }
1366
1367 static __inline__ int
1368 __xfrm6_state_addr_check(const struct xfrm_state *x,
1369                          const xfrm_address_t *daddr, const xfrm_address_t *saddr)
1370 {
1371         if (ipv6_addr_equal((struct in6_addr *)daddr, (struct in6_addr *)&x->id.daddr) &&
1372             (ipv6_addr_equal((struct in6_addr *)saddr, (struct in6_addr *)&x->props.saddr) ||
1373              ipv6_addr_any((struct in6_addr *)saddr) ||
1374              ipv6_addr_any((struct in6_addr *)&x->props.saddr)))
1375                 return 1;
1376         return 0;
1377 }
1378
1379 static __inline__ int
1380 xfrm_state_addr_check(const struct xfrm_state *x,
1381                       const xfrm_address_t *daddr, const xfrm_address_t *saddr,
1382                       unsigned short family)
1383 {
1384         switch (family) {
1385         case AF_INET:
1386                 return __xfrm4_state_addr_check(x, daddr, saddr);
1387         case AF_INET6:
1388                 return __xfrm6_state_addr_check(x, daddr, saddr);
1389         }
1390         return 0;
1391 }
1392
1393 static __inline__ int
1394 xfrm_state_addr_flow_check(const struct xfrm_state *x, const struct flowi *fl,
1395                            unsigned short family)
1396 {
1397         switch (family) {
1398         case AF_INET:
1399                 return __xfrm4_state_addr_check(x,
1400                                                 (const xfrm_address_t *)&fl->u.ip4.daddr,
1401                                                 (const xfrm_address_t *)&fl->u.ip4.saddr);
1402         case AF_INET6:
1403                 return __xfrm6_state_addr_check(x,
1404                                                 (const xfrm_address_t *)&fl->u.ip6.daddr,
1405                                                 (const xfrm_address_t *)&fl->u.ip6.saddr);
1406         }
1407         return 0;
1408 }
1409
1410 static inline int xfrm_state_kern(const struct xfrm_state *x)
1411 {
1412         return atomic_read(&x->tunnel_users);
1413 }
1414
1415 static inline bool xfrm_id_proto_valid(u8 proto)
1416 {
1417         switch (proto) {
1418         case IPPROTO_AH:
1419         case IPPROTO_ESP:
1420         case IPPROTO_COMP:
1421 #if IS_ENABLED(CONFIG_IPV6)
1422         case IPPROTO_ROUTING:
1423         case IPPROTO_DSTOPTS:
1424 #endif
1425                 return true;
1426         default:
1427                 return false;
1428         }
1429 }
1430
1431 /* IPSEC_PROTO_ANY only matches 3 IPsec protocols, 0 could match all. */
1432 static inline int xfrm_id_proto_match(u8 proto, u8 userproto)
1433 {
1434         return (!userproto || proto == userproto ||
1435                 (userproto == IPSEC_PROTO_ANY && (proto == IPPROTO_AH ||
1436                                                   proto == IPPROTO_ESP ||
1437                                                   proto == IPPROTO_COMP)));
1438 }
1439
1440 /*
1441  * xfrm algorithm information
1442  */
1443 struct xfrm_algo_aead_info {
1444         char *geniv;
1445         u16 icv_truncbits;
1446 };
1447
1448 struct xfrm_algo_auth_info {
1449         u16 icv_truncbits;
1450         u16 icv_fullbits;
1451 };
1452
1453 struct xfrm_algo_encr_info {
1454         char *geniv;
1455         u16 blockbits;
1456         u16 defkeybits;
1457 };
1458
1459 struct xfrm_algo_comp_info {
1460         u16 threshold;
1461 };
1462
1463 struct xfrm_algo_desc {
1464         char *name;
1465         char *compat;
1466         u8 available:1;
1467         u8 pfkey_supported:1;
1468         union {
1469                 struct xfrm_algo_aead_info aead;
1470                 struct xfrm_algo_auth_info auth;
1471                 struct xfrm_algo_encr_info encr;
1472                 struct xfrm_algo_comp_info comp;
1473         } uinfo;
1474         struct sadb_alg desc;
1475 };
1476
1477 /* XFRM protocol handlers.  */
1478 struct xfrm4_protocol {
1479         int (*handler)(struct sk_buff *skb);
1480         int (*input_handler)(struct sk_buff *skb, int nexthdr, __be32 spi,
1481                              int encap_type);
1482         int (*cb_handler)(struct sk_buff *skb, int err);
1483         int (*err_handler)(struct sk_buff *skb, u32 info);
1484
1485         struct xfrm4_protocol __rcu *next;
1486         int priority;
1487 };
1488
1489 struct xfrm6_protocol {
1490         int (*handler)(struct sk_buff *skb);
1491         int (*input_handler)(struct sk_buff *skb, int nexthdr, __be32 spi,
1492                              int encap_type);
1493         int (*cb_handler)(struct sk_buff *skb, int err);
1494         int (*err_handler)(struct sk_buff *skb, struct inet6_skb_parm *opt,
1495                            u8 type, u8 code, int offset, __be32 info);
1496
1497         struct xfrm6_protocol __rcu *next;
1498         int priority;
1499 };
1500
1501 /* XFRM tunnel handlers.  */
1502 struct xfrm_tunnel {
1503         int (*handler)(struct sk_buff *skb);
1504         int (*cb_handler)(struct sk_buff *skb, int err);
1505         int (*err_handler)(struct sk_buff *skb, u32 info);
1506
1507         struct xfrm_tunnel __rcu *next;
1508         int priority;
1509 };
1510
1511 struct xfrm6_tunnel {
1512         int (*handler)(struct sk_buff *skb);
1513         int (*cb_handler)(struct sk_buff *skb, int err);
1514         int (*err_handler)(struct sk_buff *skb, struct inet6_skb_parm *opt,
1515                            u8 type, u8 code, int offset, __be32 info);
1516         struct xfrm6_tunnel __rcu *next;
1517         int priority;
1518 };
1519
1520 void xfrm_init(void);
1521 void xfrm4_init(void);
1522 int xfrm_state_init(struct net *net);
1523 void xfrm_state_fini(struct net *net);
1524 void xfrm4_state_init(void);
1525 void xfrm4_protocol_init(void);
1526 #ifdef CONFIG_XFRM
1527 int xfrm6_init(void);
1528 void xfrm6_fini(void);
1529 int xfrm6_state_init(void);
1530 void xfrm6_state_fini(void);
1531 int xfrm6_protocol_init(void);
1532 void xfrm6_protocol_fini(void);
1533 #else
1534 static inline int xfrm6_init(void)
1535 {
1536         return 0;
1537 }
1538 static inline void xfrm6_fini(void)
1539 {
1540         ;
1541 }
1542 #endif
1543
1544 #ifdef CONFIG_XFRM_STATISTICS
1545 int xfrm_proc_init(struct net *net);
1546 void xfrm_proc_fini(struct net *net);
1547 #endif
1548
1549 int xfrm_sysctl_init(struct net *net);
1550 #ifdef CONFIG_SYSCTL
1551 void xfrm_sysctl_fini(struct net *net);
1552 #else
1553 static inline void xfrm_sysctl_fini(struct net *net)
1554 {
1555 }
1556 #endif
1557
1558 void xfrm_state_walk_init(struct xfrm_state_walk *walk, u8 proto,
1559                           struct xfrm_address_filter *filter);
1560 int xfrm_state_walk(struct net *net, struct xfrm_state_walk *walk,
1561                     int (*func)(struct xfrm_state *, int, void*), void *);
1562 void xfrm_state_walk_done(struct xfrm_state_walk *walk, struct net *net);
1563 struct xfrm_state *xfrm_state_alloc(struct net *net);
1564 void xfrm_state_free(struct xfrm_state *x);
1565 struct xfrm_state *xfrm_state_find(const xfrm_address_t *daddr,
1566                                    const xfrm_address_t *saddr,
1567                                    const struct flowi *fl,
1568                                    struct xfrm_tmpl *tmpl,
1569                                    struct xfrm_policy *pol, int *err,
1570                                    unsigned short family, u32 if_id);
1571 struct xfrm_state *xfrm_stateonly_find(struct net *net, u32 mark, u32 if_id,
1572                                        xfrm_address_t *daddr,
1573                                        xfrm_address_t *saddr,
1574                                        unsigned short family,
1575                                        u8 mode, u8 proto, u32 reqid);
1576 struct xfrm_state *xfrm_state_lookup_byspi(struct net *net, __be32 spi,
1577                                               unsigned short family);
1578 int xfrm_state_check_expire(struct xfrm_state *x);
1579 #ifdef CONFIG_XFRM_OFFLOAD
1580 static inline void xfrm_dev_state_update_curlft(struct xfrm_state *x)
1581 {
1582         struct xfrm_dev_offload *xdo = &x->xso;
1583         struct net_device *dev = xdo->dev;
1584
1585         if (x->xso.type != XFRM_DEV_OFFLOAD_PACKET)
1586                 return;
1587
1588         if (dev && dev->xfrmdev_ops &&
1589             dev->xfrmdev_ops->xdo_dev_state_update_curlft)
1590                 dev->xfrmdev_ops->xdo_dev_state_update_curlft(x);
1591
1592 }
1593 #else
1594 static inline void xfrm_dev_state_update_curlft(struct xfrm_state *x) {}
1595 #endif
1596 void xfrm_state_insert(struct xfrm_state *x);
1597 int xfrm_state_add(struct xfrm_state *x);
1598 int xfrm_state_update(struct xfrm_state *x);
1599 struct xfrm_state *xfrm_state_lookup(struct net *net, u32 mark,
1600                                      const xfrm_address_t *daddr, __be32 spi,
1601                                      u8 proto, unsigned short family);
1602 struct xfrm_state *xfrm_state_lookup_byaddr(struct net *net, u32 mark,
1603                                             const xfrm_address_t *daddr,
1604                                             const xfrm_address_t *saddr,
1605                                             u8 proto,
1606                                             unsigned short family);
1607 #ifdef CONFIG_XFRM_SUB_POLICY
1608 void xfrm_tmpl_sort(struct xfrm_tmpl **dst, struct xfrm_tmpl **src, int n,
1609                     unsigned short family);
1610 void xfrm_state_sort(struct xfrm_state **dst, struct xfrm_state **src, int n,
1611                      unsigned short family);
1612 #else
1613 static inline void xfrm_tmpl_sort(struct xfrm_tmpl **d, struct xfrm_tmpl **s,
1614                                   int n, unsigned short family)
1615 {
1616 }
1617
1618 static inline void xfrm_state_sort(struct xfrm_state **d, struct xfrm_state **s,
1619                                    int n, unsigned short family)
1620 {
1621 }
1622 #endif
1623
1624 struct xfrmk_sadinfo {
1625         u32 sadhcnt; /* current hash bkts */
1626         u32 sadhmcnt; /* max allowed hash bkts */
1627         u32 sadcnt; /* current running count */
1628 };
1629
1630 struct xfrmk_spdinfo {
1631         u32 incnt;
1632         u32 outcnt;
1633         u32 fwdcnt;
1634         u32 inscnt;
1635         u32 outscnt;
1636         u32 fwdscnt;
1637         u32 spdhcnt;
1638         u32 spdhmcnt;
1639 };
1640
1641 struct xfrm_state *xfrm_find_acq_byseq(struct net *net, u32 mark, u32 seq);
1642 int xfrm_state_delete(struct xfrm_state *x);
1643 int xfrm_state_flush(struct net *net, u8 proto, bool task_valid, bool sync);
1644 int xfrm_dev_state_flush(struct net *net, struct net_device *dev, bool task_valid);
1645 int xfrm_dev_policy_flush(struct net *net, struct net_device *dev,
1646                           bool task_valid);
1647 void xfrm_sad_getinfo(struct net *net, struct xfrmk_sadinfo *si);
1648 void xfrm_spd_getinfo(struct net *net, struct xfrmk_spdinfo *si);
1649 u32 xfrm_replay_seqhi(struct xfrm_state *x, __be32 net_seq);
1650 int xfrm_init_replay(struct xfrm_state *x, struct netlink_ext_ack *extack);
1651 u32 xfrm_state_mtu(struct xfrm_state *x, int mtu);
1652 int __xfrm_init_state(struct xfrm_state *x, bool init_replay, bool offload,
1653                       struct netlink_ext_ack *extack);
1654 int xfrm_init_state(struct xfrm_state *x);
1655 int xfrm_input(struct sk_buff *skb, int nexthdr, __be32 spi, int encap_type);
1656 int xfrm_input_resume(struct sk_buff *skb, int nexthdr);
1657 int xfrm_trans_queue_net(struct net *net, struct sk_buff *skb,
1658                          int (*finish)(struct net *, struct sock *,
1659                                        struct sk_buff *));
1660 int xfrm_trans_queue(struct sk_buff *skb,
1661                      int (*finish)(struct net *, struct sock *,
1662                                    struct sk_buff *));
1663 int xfrm_output_resume(struct sock *sk, struct sk_buff *skb, int err);
1664 int xfrm_output(struct sock *sk, struct sk_buff *skb);
1665
1666 #if IS_ENABLED(CONFIG_NET_PKTGEN)
1667 int pktgen_xfrm_outer_mode_output(struct xfrm_state *x, struct sk_buff *skb);
1668 #endif
1669
1670 void xfrm_local_error(struct sk_buff *skb, int mtu);
1671 int xfrm4_extract_input(struct xfrm_state *x, struct sk_buff *skb);
1672 int xfrm4_rcv_encap(struct sk_buff *skb, int nexthdr, __be32 spi,
1673                     int encap_type);
1674 int xfrm4_transport_finish(struct sk_buff *skb, int async);
1675 int xfrm4_rcv(struct sk_buff *skb);
1676
1677 static inline int xfrm4_rcv_spi(struct sk_buff *skb, int nexthdr, __be32 spi)
1678 {
1679         XFRM_TUNNEL_SKB_CB(skb)->tunnel.ip4 = NULL;
1680         XFRM_SPI_SKB_CB(skb)->family = AF_INET;
1681         XFRM_SPI_SKB_CB(skb)->daddroff = offsetof(struct iphdr, daddr);
1682         return xfrm_input(skb, nexthdr, spi, 0);
1683 }
1684
1685 int xfrm4_output(struct net *net, struct sock *sk, struct sk_buff *skb);
1686 int xfrm4_protocol_register(struct xfrm4_protocol *handler, unsigned char protocol);
1687 int xfrm4_protocol_deregister(struct xfrm4_protocol *handler, unsigned char protocol);
1688 int xfrm4_tunnel_register(struct xfrm_tunnel *handler, unsigned short family);
1689 int xfrm4_tunnel_deregister(struct xfrm_tunnel *handler, unsigned short family);
1690 void xfrm4_local_error(struct sk_buff *skb, u32 mtu);
1691 int xfrm6_extract_input(struct xfrm_state *x, struct sk_buff *skb);
1692 int xfrm6_rcv_spi(struct sk_buff *skb, int nexthdr, __be32 spi,
1693                   struct ip6_tnl *t);
1694 int xfrm6_rcv_encap(struct sk_buff *skb, int nexthdr, __be32 spi,
1695                     int encap_type);
1696 int xfrm6_transport_finish(struct sk_buff *skb, int async);
1697 int xfrm6_rcv_tnl(struct sk_buff *skb, struct ip6_tnl *t);
1698 int xfrm6_rcv(struct sk_buff *skb);
1699 int xfrm6_input_addr(struct sk_buff *skb, xfrm_address_t *daddr,
1700                      xfrm_address_t *saddr, u8 proto);
1701 void xfrm6_local_error(struct sk_buff *skb, u32 mtu);
1702 int xfrm6_protocol_register(struct xfrm6_protocol *handler, unsigned char protocol);
1703 int xfrm6_protocol_deregister(struct xfrm6_protocol *handler, unsigned char protocol);
1704 int xfrm6_tunnel_register(struct xfrm6_tunnel *handler, unsigned short family);
1705 int xfrm6_tunnel_deregister(struct xfrm6_tunnel *handler, unsigned short family);
1706 __be32 xfrm6_tunnel_alloc_spi(struct net *net, xfrm_address_t *saddr);
1707 __be32 xfrm6_tunnel_spi_lookup(struct net *net, const xfrm_address_t *saddr);
1708 int xfrm6_output(struct net *net, struct sock *sk, struct sk_buff *skb);
1709
1710 #ifdef CONFIG_XFRM
1711 void xfrm6_local_rxpmtu(struct sk_buff *skb, u32 mtu);
1712 int xfrm4_udp_encap_rcv(struct sock *sk, struct sk_buff *skb);
1713 int xfrm6_udp_encap_rcv(struct sock *sk, struct sk_buff *skb);
1714 int xfrm_user_policy(struct sock *sk, int optname, sockptr_t optval,
1715                      int optlen);
1716 #else
1717 static inline int xfrm_user_policy(struct sock *sk, int optname,
1718                                    sockptr_t optval, int optlen)
1719 {
1720         return -ENOPROTOOPT;
1721 }
1722 #endif
1723
1724 struct dst_entry *__xfrm_dst_lookup(struct net *net, int tos, int oif,
1725                                     const xfrm_address_t *saddr,
1726                                     const xfrm_address_t *daddr,
1727                                     int family, u32 mark);
1728
1729 struct xfrm_policy *xfrm_policy_alloc(struct net *net, gfp_t gfp);
1730
1731 void xfrm_policy_walk_init(struct xfrm_policy_walk *walk, u8 type);
1732 int xfrm_policy_walk(struct net *net, struct xfrm_policy_walk *walk,
1733                      int (*func)(struct xfrm_policy *, int, int, void*),
1734                      void *);
1735 void xfrm_policy_walk_done(struct xfrm_policy_walk *walk, struct net *net);
1736 int xfrm_policy_insert(int dir, struct xfrm_policy *policy, int excl);
1737 struct xfrm_policy *xfrm_policy_bysel_ctx(struct net *net,
1738                                           const struct xfrm_mark *mark,
1739                                           u32 if_id, u8 type, int dir,
1740                                           struct xfrm_selector *sel,
1741                                           struct xfrm_sec_ctx *ctx, int delete,
1742                                           int *err);
1743 struct xfrm_policy *xfrm_policy_byid(struct net *net,
1744                                      const struct xfrm_mark *mark, u32 if_id,
1745                                      u8 type, int dir, u32 id, int delete,
1746                                      int *err);
1747 int xfrm_policy_flush(struct net *net, u8 type, bool task_valid);
1748 void xfrm_policy_hash_rebuild(struct net *net);
1749 u32 xfrm_get_acqseq(void);
1750 int verify_spi_info(u8 proto, u32 min, u32 max, struct netlink_ext_ack *extack);
1751 int xfrm_alloc_spi(struct xfrm_state *x, u32 minspi, u32 maxspi,
1752                    struct netlink_ext_ack *extack);
1753 struct xfrm_state *xfrm_find_acq(struct net *net, const struct xfrm_mark *mark,
1754                                  u8 mode, u32 reqid, u32 if_id, u8 proto,
1755                                  const xfrm_address_t *daddr,
1756                                  const xfrm_address_t *saddr, int create,
1757                                  unsigned short family);
1758 int xfrm_sk_policy_insert(struct sock *sk, int dir, struct xfrm_policy *pol);
1759
1760 #ifdef CONFIG_XFRM_MIGRATE
1761 int km_migrate(const struct xfrm_selector *sel, u8 dir, u8 type,
1762                const struct xfrm_migrate *m, int num_bundles,
1763                const struct xfrm_kmaddress *k,
1764                const struct xfrm_encap_tmpl *encap);
1765 struct xfrm_state *xfrm_migrate_state_find(struct xfrm_migrate *m, struct net *net,
1766                                                 u32 if_id);
1767 struct xfrm_state *xfrm_state_migrate(struct xfrm_state *x,
1768                                       struct xfrm_migrate *m,
1769                                       struct xfrm_encap_tmpl *encap);
1770 int xfrm_migrate(const struct xfrm_selector *sel, u8 dir, u8 type,
1771                  struct xfrm_migrate *m, int num_bundles,
1772                  struct xfrm_kmaddress *k, struct net *net,
1773                  struct xfrm_encap_tmpl *encap, u32 if_id,
1774                  struct netlink_ext_ack *extack);
1775 #endif
1776
1777 int km_new_mapping(struct xfrm_state *x, xfrm_address_t *ipaddr, __be16 sport);
1778 void km_policy_expired(struct xfrm_policy *pol, int dir, int hard, u32 portid);
1779 int km_report(struct net *net, u8 proto, struct xfrm_selector *sel,
1780               xfrm_address_t *addr);
1781
1782 void xfrm_input_init(void);
1783 int xfrm_parse_spi(struct sk_buff *skb, u8 nexthdr, __be32 *spi, __be32 *seq);
1784
1785 void xfrm_probe_algs(void);
1786 int xfrm_count_pfkey_auth_supported(void);
1787 int xfrm_count_pfkey_enc_supported(void);
1788 struct xfrm_algo_desc *xfrm_aalg_get_byidx(unsigned int idx);
1789 struct xfrm_algo_desc *xfrm_ealg_get_byidx(unsigned int idx);
1790 struct xfrm_algo_desc *xfrm_aalg_get_byid(int alg_id);
1791 struct xfrm_algo_desc *xfrm_ealg_get_byid(int alg_id);
1792 struct xfrm_algo_desc *xfrm_calg_get_byid(int alg_id);
1793 struct xfrm_algo_desc *xfrm_aalg_get_byname(const char *name, int probe);
1794 struct xfrm_algo_desc *xfrm_ealg_get_byname(const char *name, int probe);
1795 struct xfrm_algo_desc *xfrm_calg_get_byname(const char *name, int probe);
1796 struct xfrm_algo_desc *xfrm_aead_get_byname(const char *name, int icv_len,
1797                                             int probe);
1798
1799 static inline bool xfrm6_addr_equal(const xfrm_address_t *a,
1800                                     const xfrm_address_t *b)
1801 {
1802         return ipv6_addr_equal((const struct in6_addr *)a,
1803                                (const struct in6_addr *)b);
1804 }
1805
1806 static inline bool xfrm_addr_equal(const xfrm_address_t *a,
1807                                    const xfrm_address_t *b,
1808                                    sa_family_t family)
1809 {
1810         switch (family) {
1811         default:
1812         case AF_INET:
1813                 return ((__force u32)a->a4 ^ (__force u32)b->a4) == 0;
1814         case AF_INET6:
1815                 return xfrm6_addr_equal(a, b);
1816         }
1817 }
1818
1819 static inline int xfrm_policy_id2dir(u32 index)
1820 {
1821         return index & 7;
1822 }
1823
1824 #ifdef CONFIG_XFRM
1825 void xfrm_replay_advance(struct xfrm_state *x, __be32 net_seq);
1826 int xfrm_replay_check(struct xfrm_state *x, struct sk_buff *skb, __be32 net_seq);
1827 void xfrm_replay_notify(struct xfrm_state *x, int event);
1828 int xfrm_replay_overflow(struct xfrm_state *x, struct sk_buff *skb);
1829 int xfrm_replay_recheck(struct xfrm_state *x, struct sk_buff *skb, __be32 net_seq);
1830
1831 static inline int xfrm_aevent_is_on(struct net *net)
1832 {
1833         struct sock *nlsk;
1834         int ret = 0;
1835
1836         rcu_read_lock();
1837         nlsk = rcu_dereference(net->xfrm.nlsk);
1838         if (nlsk)
1839                 ret = netlink_has_listeners(nlsk, XFRMNLGRP_AEVENTS);
1840         rcu_read_unlock();
1841         return ret;
1842 }
1843
1844 static inline int xfrm_acquire_is_on(struct net *net)
1845 {
1846         struct sock *nlsk;
1847         int ret = 0;
1848
1849         rcu_read_lock();
1850         nlsk = rcu_dereference(net->xfrm.nlsk);
1851         if (nlsk)
1852                 ret = netlink_has_listeners(nlsk, XFRMNLGRP_ACQUIRE);
1853         rcu_read_unlock();
1854
1855         return ret;
1856 }
1857 #endif
1858
1859 static inline unsigned int aead_len(struct xfrm_algo_aead *alg)
1860 {
1861         return sizeof(*alg) + ((alg->alg_key_len + 7) / 8);
1862 }
1863
1864 static inline unsigned int xfrm_alg_len(const struct xfrm_algo *alg)
1865 {
1866         return sizeof(*alg) + ((alg->alg_key_len + 7) / 8);
1867 }
1868
1869 static inline unsigned int xfrm_alg_auth_len(const struct xfrm_algo_auth *alg)
1870 {
1871         return sizeof(*alg) + ((alg->alg_key_len + 7) / 8);
1872 }
1873
1874 static inline unsigned int xfrm_replay_state_esn_len(struct xfrm_replay_state_esn *replay_esn)
1875 {
1876         return sizeof(*replay_esn) + replay_esn->bmp_len * sizeof(__u32);
1877 }
1878
1879 #ifdef CONFIG_XFRM_MIGRATE
1880 static inline int xfrm_replay_clone(struct xfrm_state *x,
1881                                      struct xfrm_state *orig)
1882 {
1883
1884         x->replay_esn = kmemdup(orig->replay_esn,
1885                                 xfrm_replay_state_esn_len(orig->replay_esn),
1886                                 GFP_KERNEL);
1887         if (!x->replay_esn)
1888                 return -ENOMEM;
1889         x->preplay_esn = kmemdup(orig->preplay_esn,
1890                                  xfrm_replay_state_esn_len(orig->preplay_esn),
1891                                  GFP_KERNEL);
1892         if (!x->preplay_esn)
1893                 return -ENOMEM;
1894
1895         return 0;
1896 }
1897
1898 static inline struct xfrm_algo_aead *xfrm_algo_aead_clone(struct xfrm_algo_aead *orig)
1899 {
1900         return kmemdup(orig, aead_len(orig), GFP_KERNEL);
1901 }
1902
1903
1904 static inline struct xfrm_algo *xfrm_algo_clone(struct xfrm_algo *orig)
1905 {
1906         return kmemdup(orig, xfrm_alg_len(orig), GFP_KERNEL);
1907 }
1908
1909 static inline struct xfrm_algo_auth *xfrm_algo_auth_clone(struct xfrm_algo_auth *orig)
1910 {
1911         return kmemdup(orig, xfrm_alg_auth_len(orig), GFP_KERNEL);
1912 }
1913
1914 static inline void xfrm_states_put(struct xfrm_state **states, int n)
1915 {
1916         int i;
1917         for (i = 0; i < n; i++)
1918                 xfrm_state_put(*(states + i));
1919 }
1920
1921 static inline void xfrm_states_delete(struct xfrm_state **states, int n)
1922 {
1923         int i;
1924         for (i = 0; i < n; i++)
1925                 xfrm_state_delete(*(states + i));
1926 }
1927 #endif
1928
1929 void __init xfrm_dev_init(void);
1930
1931 #ifdef CONFIG_XFRM_OFFLOAD
1932 void xfrm_dev_resume(struct sk_buff *skb);
1933 void xfrm_dev_backlog(struct softnet_data *sd);
1934 struct sk_buff *validate_xmit_xfrm(struct sk_buff *skb, netdev_features_t features, bool *again);
1935 int xfrm_dev_state_add(struct net *net, struct xfrm_state *x,
1936                        struct xfrm_user_offload *xuo,
1937                        struct netlink_ext_ack *extack);
1938 int xfrm_dev_policy_add(struct net *net, struct xfrm_policy *xp,
1939                         struct xfrm_user_offload *xuo, u8 dir,
1940                         struct netlink_ext_ack *extack);
1941 bool xfrm_dev_offload_ok(struct sk_buff *skb, struct xfrm_state *x);
1942
1943 static inline void xfrm_dev_state_advance_esn(struct xfrm_state *x)
1944 {
1945         struct xfrm_dev_offload *xso = &x->xso;
1946
1947         if (xso->dev && xso->dev->xfrmdev_ops->xdo_dev_state_advance_esn)
1948                 xso->dev->xfrmdev_ops->xdo_dev_state_advance_esn(x);
1949 }
1950
1951 static inline bool xfrm_dst_offload_ok(struct dst_entry *dst)
1952 {
1953         struct xfrm_state *x = dst->xfrm;
1954         struct xfrm_dst *xdst;
1955
1956         if (!x || !x->type_offload)
1957                 return false;
1958
1959         xdst = (struct xfrm_dst *) dst;
1960         if (!x->xso.offload_handle && !xdst->child->xfrm)
1961                 return true;
1962         if (x->xso.offload_handle && (x->xso.dev == xfrm_dst_path(dst)->dev) &&
1963             !xdst->child->xfrm)
1964                 return true;
1965
1966         return false;
1967 }
1968
1969 static inline void xfrm_dev_state_delete(struct xfrm_state *x)
1970 {
1971         struct xfrm_dev_offload *xso = &x->xso;
1972
1973         if (xso->dev)
1974                 xso->dev->xfrmdev_ops->xdo_dev_state_delete(x);
1975 }
1976
1977 static inline void xfrm_dev_state_free(struct xfrm_state *x)
1978 {
1979         struct xfrm_dev_offload *xso = &x->xso;
1980         struct net_device *dev = xso->dev;
1981
1982         if (dev && dev->xfrmdev_ops) {
1983                 if (dev->xfrmdev_ops->xdo_dev_state_free)
1984                         dev->xfrmdev_ops->xdo_dev_state_free(x);
1985                 xso->dev = NULL;
1986                 netdev_put(dev, &xso->dev_tracker);
1987         }
1988 }
1989
1990 static inline void xfrm_dev_policy_delete(struct xfrm_policy *x)
1991 {
1992         struct xfrm_dev_offload *xdo = &x->xdo;
1993         struct net_device *dev = xdo->dev;
1994
1995         if (dev && dev->xfrmdev_ops && dev->xfrmdev_ops->xdo_dev_policy_delete)
1996                 dev->xfrmdev_ops->xdo_dev_policy_delete(x);
1997 }
1998
1999 static inline void xfrm_dev_policy_free(struct xfrm_policy *x)
2000 {
2001         struct xfrm_dev_offload *xdo = &x->xdo;
2002         struct net_device *dev = xdo->dev;
2003
2004         if (dev && dev->xfrmdev_ops) {
2005                 if (dev->xfrmdev_ops->xdo_dev_policy_free)
2006                         dev->xfrmdev_ops->xdo_dev_policy_free(x);
2007                 xdo->dev = NULL;
2008                 netdev_put(dev, &xdo->dev_tracker);
2009         }
2010 }
2011 #else
2012 static inline void xfrm_dev_resume(struct sk_buff *skb)
2013 {
2014 }
2015
2016 static inline void xfrm_dev_backlog(struct softnet_data *sd)
2017 {
2018 }
2019
2020 static inline struct sk_buff *validate_xmit_xfrm(struct sk_buff *skb, netdev_features_t features, bool *again)
2021 {
2022         return skb;
2023 }
2024
2025 static inline int xfrm_dev_state_add(struct net *net, struct xfrm_state *x, struct xfrm_user_offload *xuo, struct netlink_ext_ack *extack)
2026 {
2027         return 0;
2028 }
2029
2030 static inline void xfrm_dev_state_delete(struct xfrm_state *x)
2031 {
2032 }
2033
2034 static inline void xfrm_dev_state_free(struct xfrm_state *x)
2035 {
2036 }
2037
2038 static inline int xfrm_dev_policy_add(struct net *net, struct xfrm_policy *xp,
2039                                       struct xfrm_user_offload *xuo, u8 dir,
2040                                       struct netlink_ext_ack *extack)
2041 {
2042         return 0;
2043 }
2044
2045 static inline void xfrm_dev_policy_delete(struct xfrm_policy *x)
2046 {
2047 }
2048
2049 static inline void xfrm_dev_policy_free(struct xfrm_policy *x)
2050 {
2051 }
2052
2053 static inline bool xfrm_dev_offload_ok(struct sk_buff *skb, struct xfrm_state *x)
2054 {
2055         return false;
2056 }
2057
2058 static inline void xfrm_dev_state_advance_esn(struct xfrm_state *x)
2059 {
2060 }
2061
2062 static inline bool xfrm_dst_offload_ok(struct dst_entry *dst)
2063 {
2064         return false;
2065 }
2066 #endif
2067
2068 static inline int xfrm_mark_get(struct nlattr **attrs, struct xfrm_mark *m)
2069 {
2070         if (attrs[XFRMA_MARK])
2071                 memcpy(m, nla_data(attrs[XFRMA_MARK]), sizeof(struct xfrm_mark));
2072         else
2073                 m->v = m->m = 0;
2074
2075         return m->v & m->m;
2076 }
2077
2078 static inline int xfrm_mark_put(struct sk_buff *skb, const struct xfrm_mark *m)
2079 {
2080         int ret = 0;
2081
2082         if (m->m | m->v)
2083                 ret = nla_put(skb, XFRMA_MARK, sizeof(struct xfrm_mark), m);
2084         return ret;
2085 }
2086
2087 static inline __u32 xfrm_smark_get(__u32 mark, struct xfrm_state *x)
2088 {
2089         struct xfrm_mark *m = &x->props.smark;
2090
2091         return (m->v & m->m) | (mark & ~m->m);
2092 }
2093
2094 static inline int xfrm_if_id_put(struct sk_buff *skb, __u32 if_id)
2095 {
2096         int ret = 0;
2097
2098         if (if_id)
2099                 ret = nla_put_u32(skb, XFRMA_IF_ID, if_id);
2100         return ret;
2101 }
2102
2103 static inline int xfrm_tunnel_check(struct sk_buff *skb, struct xfrm_state *x,
2104                                     unsigned int family)
2105 {
2106         bool tunnel = false;
2107
2108         switch(family) {
2109         case AF_INET:
2110                 if (XFRM_TUNNEL_SKB_CB(skb)->tunnel.ip4)
2111                         tunnel = true;
2112                 break;
2113         case AF_INET6:
2114                 if (XFRM_TUNNEL_SKB_CB(skb)->tunnel.ip6)
2115                         tunnel = true;
2116                 break;
2117         }
2118         if (tunnel && !(x->outer_mode.flags & XFRM_MODE_FLAG_TUNNEL))
2119                 return -EINVAL;
2120
2121         return 0;
2122 }
2123
2124 extern const int xfrm_msg_min[XFRM_NR_MSGTYPES];
2125 extern const struct nla_policy xfrma_policy[XFRMA_MAX+1];
2126
2127 struct xfrm_translator {
2128         /* Allocate frag_list and put compat translation there */
2129         int (*alloc_compat)(struct sk_buff *skb, const struct nlmsghdr *src);
2130
2131         /* Allocate nlmsg with 64-bit translaton of received 32-bit message */
2132         struct nlmsghdr *(*rcv_msg_compat)(const struct nlmsghdr *nlh,
2133                         int maxtype, const struct nla_policy *policy,
2134                         struct netlink_ext_ack *extack);
2135
2136         /* Translate 32-bit user_policy from sockptr */
2137         int (*xlate_user_policy_sockptr)(u8 **pdata32, int optlen);
2138
2139         struct module *owner;
2140 };
2141
2142 #if IS_ENABLED(CONFIG_XFRM_USER_COMPAT)
2143 extern int xfrm_register_translator(struct xfrm_translator *xtr);
2144 extern int xfrm_unregister_translator(struct xfrm_translator *xtr);
2145 extern struct xfrm_translator *xfrm_get_translator(void);
2146 extern void xfrm_put_translator(struct xfrm_translator *xtr);
2147 #else
2148 static inline struct xfrm_translator *xfrm_get_translator(void)
2149 {
2150         return NULL;
2151 }
2152 static inline void xfrm_put_translator(struct xfrm_translator *xtr)
2153 {
2154 }
2155 #endif
2156
2157 #if IS_ENABLED(CONFIG_IPV6)
2158 static inline bool xfrm6_local_dontfrag(const struct sock *sk)
2159 {
2160         int proto;
2161
2162         if (!sk || sk->sk_family != AF_INET6)
2163                 return false;
2164
2165         proto = sk->sk_protocol;
2166         if (proto == IPPROTO_UDP || proto == IPPROTO_RAW)
2167                 return inet6_sk(sk)->dontfrag;
2168
2169         return false;
2170 }
2171 #endif
2172
2173 #if (IS_BUILTIN(CONFIG_XFRM_INTERFACE) && IS_ENABLED(CONFIG_DEBUG_INFO_BTF)) || \
2174     (IS_MODULE(CONFIG_XFRM_INTERFACE) && IS_ENABLED(CONFIG_DEBUG_INFO_BTF_MODULES))
2175
2176 extern struct metadata_dst __percpu *xfrm_bpf_md_dst;
2177
2178 int register_xfrm_interface_bpf(void);
2179
2180 #else
2181
2182 static inline int register_xfrm_interface_bpf(void)
2183 {
2184         return 0;
2185 }
2186
2187 #endif
2188
2189 #endif  /* _NET_XFRM_H */