deps/lightrec/lightrec-private.h

   1 /* SPDX-License-Identifier: LGPL-2.1-or-later */
   2 /*
   3  * Copyright (C) 2016-2021 Paul Cercueil <paul@crapouillou.net>
   4  */
   5
   6 #ifndef __LIGHTREC_PRIVATE_H__
   7 #define __LIGHTREC_PRIVATE_H__
   8
   9 #include "lightning-wrapper.h"
  10 #include "lightrec-config.h"
  11 #include "disassembler.h"
  12 #include "lightrec.h"
  13
  14 #if ENABLE_THREADED_COMPILER
  15 #include <stdatomic.h>
  16 #endif
  17
  18 #define ARRAY_SIZE(x) (sizeof(x) ? sizeof(x) / sizeof((x)[0]) : 0)
  19
  20 #ifdef __GNUC__
  21 #       define likely(x)       __builtin_expect(!!(x),1)
  22 #       define unlikely(x)     __builtin_expect(!!(x),0)
  23 #else
  24 #       define likely(x)       (x)
  25 #       define unlikely(x)     (x)
  26 #endif
  27
  28 #if __BYTE_ORDER__ == __ORDER_BIG_ENDIAN__
  29 #       define LE32TOH(x)       __builtin_bswap32(x)
  30 #       define HTOLE32(x)       __builtin_bswap32(x)
  31 #       define LE16TOH(x)       __builtin_bswap16(x)
  32 #       define HTOLE16(x)       __builtin_bswap16(x)
  33 #else
  34 #       define LE32TOH(x)       (x)
  35 #       define HTOLE32(x)       (x)
  36 #       define LE16TOH(x)       (x)
  37 #       define HTOLE16(x)       (x)
  38 #endif
  39
  40 #if HAS_DEFAULT_ELM
  41 #define SET_DEFAULT_ELM(table, value) [0 ... ARRAY_SIZE(table) - 1] = value
  42 #else
  43 #define SET_DEFAULT_ELM(table, value) [0] = NULL
  44 #endif
  45
  46 #define fallthrough do {} while (0) /* fall-through */
  47
  48 /* Flags for (struct block *)->flags */
  49 #define BLOCK_NEVER_COMPILE     BIT(0)
  50 #define BLOCK_SHOULD_RECOMPILE  BIT(1)
  51 #define BLOCK_FULLY_TAGGED      BIT(2)
  52 #define BLOCK_IS_DEAD           BIT(3)
  53 #define BLOCK_IS_MEMSET         BIT(4)
  54
  55 #define RAM_SIZE        0x200000
  56 #define BIOS_SIZE       0x80000
  57
  58 #define CODE_LUT_SIZE   ((RAM_SIZE + BIOS_SIZE) >> 2)
  59
  60 #define REG_LO 32
  61 #define REG_HI 33
  62
  63 /* Definition of jit_state_t (avoids inclusion of <lightning.h>) */
  64 struct jit_node;
  65 struct jit_state;
  66 typedef struct jit_state jit_state_t;
  67
  68 struct blockcache;
  69 struct recompiler;
  70 struct regcache;
  71 struct opcode;
  72 struct reaper;
  73
  74 struct u16x2 {
  75 #if __BYTE_ORDER__ == __ORDER_BIG_ENDIAN__
  76         u16 h, l;
  77 #else
  78         u16 l, h;
  79 #endif
  80 };
  81
  82 struct block {
  83         jit_state_t *_jit;
  84         struct opcode *opcode_list;
  85         void (*function)(void);
  86         const u32 *code;
  87         struct block *next;
  88         u32 pc;
  89         u32 hash;
  90         u32 precompile_date;
  91         unsigned int code_size;
  92         u16 nb_ops;
  93         u8 flags;
  94 #if ENABLE_THREADED_COMPILER
  95         atomic_flag op_list_freed;
  96 #endif
  97 };
  98
  99 struct lightrec_branch {
 100         struct jit_node *branch;
 101         u32 target;
 102 };
 103
 104 struct lightrec_branch_target {
 105         struct jit_node *label;
 106         u32 offset;
 107 };
 108
 109 enum c_wrappers {
 110         C_WRAPPER_RW,
 111         C_WRAPPER_RW_GENERIC,
 112         C_WRAPPER_MTC,
 113         C_WRAPPER_CP,
 114         C_WRAPPER_SYSCALL,
 115         C_WRAPPER_BREAK,
 116         C_WRAPPERS_COUNT,
 117 };
 118
 119 struct lightrec_cstate {
 120         struct lightrec_state *state;
 121
 122         struct jit_node *branches[512];
 123         struct lightrec_branch local_branches[512];
 124         struct lightrec_branch_target targets[512];
 125         unsigned int nb_branches;
 126         unsigned int nb_local_branches;
 127         unsigned int nb_targets;
 128         unsigned int cycles;
 129
 130         struct regcache *reg_cache;
 131 };
 132
 133 struct lightrec_state {
 134         struct lightrec_registers regs;
 135         u32 next_pc;
 136         u32 current_cycle;
 137         u32 target_cycle;
 138         u32 exit_flags;
 139         u32 old_cycle_counter;
 140         u32 c_wrapper_arg;
 141         struct block *dispatcher, *c_wrapper_block;
 142         void *c_wrappers[C_WRAPPERS_COUNT];
 143         void *wrappers_eps[C_WRAPPERS_COUNT];
 144         struct blockcache *block_cache;
 145         struct recompiler *rec;
 146         struct lightrec_cstate *cstate;
 147         struct reaper *reaper;
 148         void *tlsf;
 149         void (*eob_wrapper_func)(void);
 150         void (*memset_func)(void);
 151         void (*get_next_block)(void);
 152         struct lightrec_ops ops;
 153         unsigned int nb_precompile;
 154         unsigned int nb_maps;
 155         const struct lightrec_mem_map *maps;
 156         uintptr_t offset_ram, offset_bios, offset_scratch;
 157         _Bool with_32bit_lut;
 158         _Bool mirrors_mapped;
 159         _Bool invalidate_from_dma_only;
 160         void *code_lut[];
 161 };
 162
 163 u32 lightrec_rw(struct lightrec_state *state, union code op,
 164                 u32 addr, u32 data, u16 *flags,
 165                 struct block *block);
 166
 167 void lightrec_free_block(struct lightrec_state *state, struct block *block);
 168
 169 void remove_from_code_lut(struct blockcache *cache, struct block *block);
 170
 171 enum psx_map
 172 lightrec_get_map_idx(struct lightrec_state *state, u32 kaddr);
 173
 174 const struct lightrec_mem_map *
 175 lightrec_get_map(struct lightrec_state *state, void **host, u32 kaddr);
 176
 177 static inline u32 kunseg(u32 addr)
 178 {
 179         if (unlikely(addr >= 0xa0000000))
 180                 return addr - 0xa0000000;
 181         else
 182                 return addr &~ 0x80000000;
 183 }
 184
 185 static inline u32 lut_offset(u32 pc)
 186 {
 187         if (pc & BIT(28))
 188                 return ((pc & (BIOS_SIZE - 1)) + RAM_SIZE) >> 2; // BIOS
 189         else
 190                 return (pc & (RAM_SIZE - 1)) >> 2; // RAM
 191 }
 192
 193 static inline _Bool is_big_endian(void)
 194 {
 195         return __BYTE_ORDER__ == __ORDER_BIG_ENDIAN__;
 196 }
 197
 198 static inline _Bool lut_is_32bit(const struct lightrec_state *state)
 199 {
 200         return __WORDSIZE == 32 ||
 201                 (ENABLE_CODE_BUFFER && state->with_32bit_lut);
 202 }
 203
 204 static inline size_t lut_elm_size(const struct lightrec_state *state)
 205 {
 206         return lut_is_32bit(state) ? 4 : sizeof(void *);
 207 }
 208
 209 static inline void ** lut_address(struct lightrec_state *state, u32 offset)
 210 {
 211         if (lut_is_32bit(state))
 212                 return (void **) ((uintptr_t) state->code_lut + offset * 4);
 213         else
 214                 return &state->code_lut[offset];
 215 }
 216
 217 static inline void * lut_read(struct lightrec_state *state, u32 offset)
 218 {
 219         void **lut_entry = lut_address(state, offset);
 220
 221         if (lut_is_32bit(state))
 222                 return (void *)(uintptr_t) *(u32 *) lut_entry;
 223         else
 224                 return *lut_entry;
 225 }
 226
 227 static inline void lut_write(struct lightrec_state *state, u32 offset, void *ptr)
 228 {
 229         void **lut_entry = lut_address(state, offset);
 230
 231         if (lut_is_32bit(state))
 232                 *(u32 *) lut_entry = (u32)(uintptr_t) ptr;
 233         else
 234                 *lut_entry = ptr;
 235 }
 236
 237 static inline u32 get_ds_pc(const struct block *block, u16 offset, s16 imm)
 238 {
 239         u16 flags = block->opcode_list[offset].flags;
 240
 241         offset += !!(OPT_SWITCH_DELAY_SLOTS && (flags & LIGHTREC_NO_DS));
 242
 243         return block->pc + (offset + imm << 2);
 244 }
 245
 246 static inline u32 get_branch_pc(const struct block *block, u16 offset, s16 imm)
 247 {
 248         u16 flags = block->opcode_list[offset].flags;
 249
 250         offset -= !!(OPT_SWITCH_DELAY_SLOTS && (flags & LIGHTREC_NO_DS));
 251
 252         return block->pc + (offset + imm << 2);
 253 }
 254
 255 void lightrec_mtc(struct lightrec_state *state, union code op, u32 data);
 256 u32 lightrec_mfc(struct lightrec_state *state, union code op);
 257 void lightrec_rfe(struct lightrec_state *state);
 258 void lightrec_cp(struct lightrec_state *state, union code op);
 259
 260 struct lightrec_cstate * lightrec_create_cstate(struct lightrec_state *state);
 261 void lightrec_free_cstate(struct lightrec_cstate *cstate);
 262
 263 union code lightrec_read_opcode(struct lightrec_state *state, u32 pc);
 264
 265 struct block * lightrec_get_block(struct lightrec_state *state, u32 pc);
 266 int lightrec_compile_block(struct lightrec_cstate *cstate, struct block *block);
 267 void lightrec_free_opcode_list(struct lightrec_state *state, struct block *block);
 268
 269 unsigned int lightrec_cycles_of_opcode(union code code);
 270
 271 static inline u8 get_mult_div_lo(union code c)
 272 {
 273         return (OPT_FLAG_MULT_DIV && c.r.rd) ? c.r.rd : REG_LO;
 274 }
 275
 276 static inline u8 get_mult_div_hi(union code c)
 277 {
 278         return (OPT_FLAG_MULT_DIV && c.r.imm) ? c.r.imm : REG_HI;
 279 }
 280
 281 #endif /* __LIGHTREC_PRIVATE_H__ */