deps/lightrec/lightrec-private.h

   1 /* SPDX-License-Identifier: LGPL-2.1-or-later */
   2 /*
   3  * Copyright (C) 2016-2021 Paul Cercueil <paul@crapouillou.net>
   4  */
   5
   6 #ifndef __LIGHTREC_PRIVATE_H__
   7 #define __LIGHTREC_PRIVATE_H__
   8
   9 #include "lightning-wrapper.h"
  10 #include "lightrec-config.h"
  11 #include "disassembler.h"
  12 #include "lightrec.h"
  13 #include "regcache.h"
  14
  15 #if ENABLE_THREADED_COMPILER
  16 #include <stdatomic.h>
  17 #endif
  18
  19 #ifdef _MSC_BUILD
  20 #include <immintrin.h>
  21 #endif
  22
  23 #define ARRAY_SIZE(x) (sizeof(x) ? sizeof(x) / sizeof((x)[0]) : 0)
  24
  25 #define GENMASK(h, l) \
  26         (((uintptr_t)-1 << (l)) & ((uintptr_t)-1 >> (__WORDSIZE - 1 - (h))))
  27
  28 #ifdef __GNUC__
  29 #       define likely(x)       __builtin_expect(!!(x),1)
  30 #       define unlikely(x)     __builtin_expect(!!(x),0)
  31 #else
  32 #       define likely(x)       (x)
  33 #       define unlikely(x)     (x)
  34 #endif
  35
  36 #if __BYTE_ORDER__ == __ORDER_BIG_ENDIAN__
  37 #       define LE32TOH(x)       __builtin_bswap32(x)
  38 #       define HTOLE32(x)       __builtin_bswap32(x)
  39 #       define LE16TOH(x)       __builtin_bswap16(x)
  40 #       define HTOLE16(x)       __builtin_bswap16(x)
  41 #else
  42 #       define LE32TOH(x)       (x)
  43 #       define HTOLE32(x)       (x)
  44 #       define LE16TOH(x)       (x)
  45 #       define HTOLE16(x)       (x)
  46 #endif
  47
  48 #if HAS_DEFAULT_ELM
  49 #define SET_DEFAULT_ELM(table, value) [0 ... ARRAY_SIZE(table) - 1] = value
  50 #else
  51 #define SET_DEFAULT_ELM(table, value) [0] = NULL
  52 #endif
  53
  54 #define fallthrough do {} while (0) /* fall-through */
  55
  56 #define container_of(ptr, type, member) \
  57         ((type *)((void *)(ptr) - offsetof(type, member)))
  58
  59 #ifdef _MSC_BUILD
  60 #       define popcount32(x)    __popcnt(x)
  61 #       define clz32(x)         _lzcnt_u32(x)
  62 #       define ctz32(x)         _tzcnt_u32(x)
  63 #else
  64 #       define popcount32(x)    __builtin_popcount(x)
  65 #       define clz32(x)         __builtin_clz(x)
  66 #       define ctz32(x)         __builtin_ctz(x)
  67 #endif
  68
  69 /* Flags for (struct block *)->flags */
  70 #define BLOCK_NEVER_COMPILE     BIT(0)
  71 #define BLOCK_SHOULD_RECOMPILE  BIT(1)
  72 #define BLOCK_FULLY_TAGGED      BIT(2)
  73 #define BLOCK_IS_DEAD           BIT(3)
  74 #define BLOCK_IS_MEMSET         BIT(4)
  75 #define BLOCK_NO_OPCODE_LIST    BIT(5)
  76
  77 #define RAM_SIZE        0x200000
  78 #define BIOS_SIZE       0x80000
  79
  80 #define CODE_LUT_SIZE   ((RAM_SIZE + BIOS_SIZE) >> 2)
  81
  82 #define REG_LO 32
  83 #define REG_HI 33
  84 #define REG_TEMP (offsetof(struct lightrec_state, temp_reg) / sizeof(u32))
  85
  86 /* Definition of jit_state_t (avoids inclusion of <lightning.h>) */
  87 struct jit_node;
  88 struct jit_state;
  89 typedef struct jit_state jit_state_t;
  90
  91 struct blockcache;
  92 struct recompiler;
  93 struct regcache;
  94 struct opcode;
  95 struct reaper;
  96
  97 struct u16x2 {
  98 #if __BYTE_ORDER__ == __ORDER_BIG_ENDIAN__
  99         u16 h, l;
 100 #else
 101         u16 l, h;
 102 #endif
 103 };
 104
 105 struct block {
 106         jit_state_t *_jit;
 107         struct opcode *opcode_list;
 108         void (*function)(void);
 109         const u32 *code;
 110         struct block *next;
 111         u32 pc;
 112         u32 hash;
 113         u32 precompile_date;
 114         unsigned int code_size;
 115         u16 nb_ops;
 116 #if ENABLE_THREADED_COMPILER
 117         _Atomic u8 flags;
 118 #else
 119         u8 flags;
 120 #endif
 121 };
 122
 123 struct lightrec_branch {
 124         struct jit_node *branch;
 125         u32 target;
 126 };
 127
 128 struct lightrec_branch_target {
 129         struct jit_node *label;
 130         u32 offset;
 131 };
 132
 133 enum c_wrappers {
 134         C_WRAPPER_RW,
 135         C_WRAPPER_RW_GENERIC,
 136         C_WRAPPER_MFC,
 137         C_WRAPPER_MTC,
 138         C_WRAPPER_CP,
 139         C_WRAPPERS_COUNT,
 140 };
 141
 142 struct lightrec_cstate {
 143         struct lightrec_state *state;
 144
 145         struct lightrec_branch local_branches[512];
 146         struct lightrec_branch_target targets[512];
 147         unsigned int nb_local_branches;
 148         unsigned int nb_targets;
 149         unsigned int cycles;
 150
 151         struct regcache *reg_cache;
 152
 153         _Bool no_load_delay;
 154 };
 155
 156 struct lightrec_state {
 157         struct lightrec_registers regs;
 158         u32 temp_reg;
 159         u32 curr_pc;
 160         u32 next_pc;
 161         uintptr_t wrapper_regs[NUM_TEMPS];
 162         u8 in_delay_slot_n;
 163         u32 current_cycle;
 164         u32 target_cycle;
 165         u32 exit_flags;
 166         u32 old_cycle_counter;
 167         struct block *dispatcher, *c_wrapper_block;
 168         void *c_wrappers[C_WRAPPERS_COUNT];
 169         void *wrappers_eps[C_WRAPPERS_COUNT];
 170         struct blockcache *block_cache;
 171         struct recompiler *rec;
 172         struct lightrec_cstate *cstate;
 173         struct reaper *reaper;
 174         void *tlsf;
 175         void (*eob_wrapper_func)(void);
 176         void (*interpreter_func)(void);
 177         void (*ds_check_func)(void);
 178         void (*memset_func)(void);
 179         void (*get_next_block)(void);
 180         struct lightrec_ops ops;
 181         unsigned int nb_precompile;
 182         unsigned int nb_compile;
 183         unsigned int nb_maps;
 184         const struct lightrec_mem_map *maps;
 185         uintptr_t offset_ram, offset_bios, offset_scratch, offset_io;
 186         _Bool with_32bit_lut;
 187         _Bool mirrors_mapped;
 188         _Bool invalidate_from_dma_only;
 189         void *code_lut[];
 190 };
 191
 192 u32 lightrec_rw(struct lightrec_state *state, union code op, u32 addr,
 193                 u32 data, u32 *flags, struct block *block, u16 offset);
 194
 195 void lightrec_free_block(struct lightrec_state *state, struct block *block);
 196
 197 void remove_from_code_lut(struct blockcache *cache, struct block *block);
 198
 199 const struct lightrec_mem_map *
 200 lightrec_get_map(struct lightrec_state *state, void **host, u32 kaddr);
 201
 202 static inline u32 kunseg(u32 addr)
 203 {
 204         if (unlikely(addr >= 0xa0000000))
 205                 return addr - 0xa0000000;
 206         else
 207                 return addr &~ 0x80000000;
 208 }
 209
 210 static inline u32 lut_offset(u32 pc)
 211 {
 212         if (pc & BIT(28))
 213                 return ((pc & (BIOS_SIZE - 1)) + RAM_SIZE) >> 2; // BIOS
 214         else
 215                 return (pc & (RAM_SIZE - 1)) >> 2; // RAM
 216 }
 217
 218 static inline _Bool is_big_endian(void)
 219 {
 220         return __BYTE_ORDER__ == __ORDER_BIG_ENDIAN__;
 221 }
 222
 223 static inline _Bool lut_is_32bit(const struct lightrec_state *state)
 224 {
 225         return __WORDSIZE == 32 ||
 226                 (ENABLE_CODE_BUFFER && state->with_32bit_lut);
 227 }
 228
 229 static inline size_t lut_elm_size(const struct lightrec_state *state)
 230 {
 231         return lut_is_32bit(state) ? 4 : sizeof(void *);
 232 }
 233
 234 static inline void ** lut_address(struct lightrec_state *state, u32 offset)
 235 {
 236         if (lut_is_32bit(state))
 237                 return (void **) ((uintptr_t) state->code_lut + offset * 4);
 238         else
 239                 return &state->code_lut[offset];
 240 }
 241
 242 static inline void * lut_read(struct lightrec_state *state, u32 offset)
 243 {
 244         void **lut_entry = lut_address(state, offset);
 245
 246         if (lut_is_32bit(state))
 247                 return (void *)(uintptr_t) *(u32 *) lut_entry;
 248         else
 249                 return *lut_entry;
 250 }
 251
 252 static inline void lut_write(struct lightrec_state *state, u32 offset, void *ptr)
 253 {
 254         void **lut_entry = lut_address(state, offset);
 255
 256         if (lut_is_32bit(state))
 257                 *(u32 *) lut_entry = (u32)(uintptr_t) ptr;
 258         else
 259                 *lut_entry = ptr;
 260 }
 261
 262 static inline u32 get_ds_pc(const struct block *block, u16 offset, s16 imm)
 263 {
 264         u16 flags = block->opcode_list[offset].flags;
 265
 266         offset += op_flag_no_ds(flags);
 267
 268         return block->pc + (offset + imm << 2);
 269 }
 270
 271 static inline u32 get_branch_pc(const struct block *block, u16 offset, s16 imm)
 272 {
 273         u16 flags = block->opcode_list[offset].flags;
 274
 275         offset -= op_flag_no_ds(flags);
 276
 277         return block->pc + (offset + imm << 2);
 278 }
 279
 280 void lightrec_mtc(struct lightrec_state *state, union code op, u8 reg, u32 data);
 281 u32 lightrec_mfc(struct lightrec_state *state, union code op);
 282 void lightrec_rfe(struct lightrec_state *state);
 283 void lightrec_cp(struct lightrec_state *state, union code op);
 284
 285 struct lightrec_cstate * lightrec_create_cstate(struct lightrec_state *state);
 286 void lightrec_free_cstate(struct lightrec_cstate *cstate);
 287
 288 union code lightrec_read_opcode(struct lightrec_state *state, u32 pc);
 289
 290 int lightrec_compile_block(struct lightrec_cstate *cstate, struct block *block);
 291 void lightrec_free_opcode_list(struct lightrec_state *state,
 292                                struct opcode *list);
 293
 294 __cnst unsigned int lightrec_cycles_of_opcode(union code code);
 295
 296 static inline u8 get_mult_div_lo(union code c)
 297 {
 298         return (OPT_FLAG_MULT_DIV && c.r.rd) ? c.r.rd : REG_LO;
 299 }
 300
 301 static inline u8 get_mult_div_hi(union code c)
 302 {
 303         return (OPT_FLAG_MULT_DIV && c.r.imm) ? c.r.imm : REG_HI;
 304 }
 305
 306 static inline s16 s16_max(s16 a, s16 b)
 307 {
 308         return a > b ? a : b;
 309 }
 310
 311 static inline _Bool block_has_flag(struct block *block, u8 flag)
 312 {
 313 #if ENABLE_THREADED_COMPILER
 314         return atomic_load_explicit(&block->flags, memory_order_relaxed) & flag;
 315 #else
 316         return block->flags & flag;
 317 #endif
 318 }
 319
 320 static inline u8 block_set_flags(struct block *block, u8 mask)
 321 {
 322 #if ENABLE_THREADED_COMPILER
 323         return atomic_fetch_or_explicit(&block->flags, mask,
 324                                         memory_order_relaxed);
 325 #else
 326         u8 flags = block->flags;
 327
 328         block->flags |= mask;
 329
 330         return flags;
 331 #endif
 332 }
 333
 334 static inline u8 block_clear_flags(struct block *block, u8 mask)
 335 {
 336 #if ENABLE_THREADED_COMPILER
 337         return atomic_fetch_and_explicit(&block->flags, ~mask,
 338                                          memory_order_relaxed);
 339 #else
 340         u8 flags = block->flags;
 341
 342         block->flags &= ~mask;
 343
 344         return flags;
 345 #endif
 346 }
 347
 348 static inline _Bool can_sign_extend(s32 value, u8 order)
 349 {
 350       return (u32)(value >> order - 1) + 1 < 2;
 351 }
 352
 353 static inline _Bool can_zero_extend(u32 value, u8 order)
 354 {
 355       return (value >> order) == 0;
 356 }
 357
 358 static inline const struct opcode *
 359 get_delay_slot(const struct opcode *list, u16 i)
 360 {
 361         return op_flag_no_ds(list[i].flags) ? &list[i - 1] : &list[i + 1];
 362 }
 363
 364 static inline _Bool lightrec_store_next_pc(void)
 365 {
 366         return NUM_REGS + NUM_TEMPS <= 4;
 367 }
 368
 369 #endif /* __LIGHTREC_PRIVATE_H__ */