deps/lightrec/lightrec-private.h

   1 /* SPDX-License-Identifier: LGPL-2.1-or-later */
   2 /*
   3  * Copyright (C) 2016-2021 Paul Cercueil <paul@crapouillou.net>
   4  */
   5
   6 #ifndef __LIGHTREC_PRIVATE_H__
   7 #define __LIGHTREC_PRIVATE_H__
   8
   9 #include "lightrec-config.h"
  10 #include "disassembler.h"
  11 #include "lightrec.h"
  12
  13 #if ENABLE_THREADED_COMPILER
  14 #include <stdatomic.h>
  15 #endif
  16
  17 #define ARRAY_SIZE(x) (sizeof(x) ? sizeof(x) / sizeof((x)[0]) : 0)
  18
  19 #ifdef __GNUC__
  20 #       define likely(x)       __builtin_expect(!!(x),1)
  21 #       define unlikely(x)     __builtin_expect(!!(x),0)
  22 #else
  23 #       define likely(x)       (x)
  24 #       define unlikely(x)     (x)
  25 #endif
  26
  27 #if __BYTE_ORDER__ == __ORDER_BIG_ENDIAN__
  28 #       define LE32TOH(x)       __builtin_bswap32(x)
  29 #       define HTOLE32(x)       __builtin_bswap32(x)
  30 #       define LE16TOH(x)       __builtin_bswap16(x)
  31 #       define HTOLE16(x)       __builtin_bswap16(x)
  32 #else
  33 #       define LE32TOH(x)       (x)
  34 #       define HTOLE32(x)       (x)
  35 #       define LE16TOH(x)       (x)
  36 #       define HTOLE16(x)       (x)
  37 #endif
  38
  39 #if HAS_DEFAULT_ELM
  40 #define SET_DEFAULT_ELM(table, value) [0 ... ARRAY_SIZE(table) - 1] = value
  41 #else
  42 #define SET_DEFAULT_ELM(table, value) [0] = NULL
  43 #endif
  44
  45 /* Flags for (struct block *)->flags */
  46 #define BLOCK_NEVER_COMPILE     BIT(0)
  47 #define BLOCK_SHOULD_RECOMPILE  BIT(1)
  48 #define BLOCK_FULLY_TAGGED      BIT(2)
  49 #define BLOCK_IS_DEAD           BIT(3)
  50 #define BLOCK_IS_MEMSET         BIT(4)
  51
  52 #define RAM_SIZE        0x200000
  53 #define BIOS_SIZE       0x80000
  54
  55 #define CODE_LUT_SIZE   ((RAM_SIZE + BIOS_SIZE) >> 2)
  56
  57 #define REG_LO 32
  58 #define REG_HI 33
  59
  60 /* Definition of jit_state_t (avoids inclusion of <lightning.h>) */
  61 struct jit_node;
  62 struct jit_state;
  63 typedef struct jit_state jit_state_t;
  64
  65 struct blockcache;
  66 struct recompiler;
  67 struct regcache;
  68 struct opcode;
  69 struct tinymm;
  70 struct reaper;
  71
  72 struct block {
  73         jit_state_t *_jit;
  74         struct opcode *opcode_list;
  75         void (*function)(void);
  76         const u32 *code;
  77         struct block *next;
  78         u32 pc;
  79         u32 hash;
  80         unsigned int code_size;
  81         u16 nb_ops;
  82         u8 flags;
  83 #if ENABLE_THREADED_COMPILER
  84         atomic_flag op_list_freed;
  85 #endif
  86 };
  87
  88 struct lightrec_branch {
  89         struct jit_node *branch;
  90         u32 target;
  91 };
  92
  93 struct lightrec_branch_target {
  94         struct jit_node *label;
  95         u32 offset;
  96 };
  97
  98 enum c_wrappers {
  99         C_WRAPPER_RW,
 100         C_WRAPPER_RW_GENERIC,
 101         C_WRAPPER_MTC,
 102         C_WRAPPER_CP,
 103         C_WRAPPER_SYSCALL,
 104         C_WRAPPER_BREAK,
 105         C_WRAPPERS_COUNT,
 106 };
 107
 108 struct lightrec_cstate {
 109         struct lightrec_state *state;
 110
 111         struct jit_node *branches[512];
 112         struct lightrec_branch local_branches[512];
 113         struct lightrec_branch_target targets[512];
 114         unsigned int nb_branches;
 115         unsigned int nb_local_branches;
 116         unsigned int nb_targets;
 117         unsigned int cycles;
 118
 119         struct regcache *reg_cache;
 120 };
 121
 122 struct lightrec_state {
 123         struct lightrec_registers regs;
 124         u32 next_pc;
 125         u32 current_cycle;
 126         u32 target_cycle;
 127         u32 exit_flags;
 128         u32 old_cycle_counter;
 129         struct block *dispatcher, *c_wrapper_block;
 130         void *c_wrappers[C_WRAPPERS_COUNT];
 131         void *wrappers_eps[C_WRAPPERS_COUNT];
 132         struct tinymm *tinymm;
 133         struct blockcache *block_cache;
 134         struct recompiler *rec;
 135         struct lightrec_cstate *cstate;
 136         struct reaper *reaper;
 137         void (*eob_wrapper_func)(void);
 138         void (*memset_func)(void);
 139         void (*get_next_block)(void);
 140         struct lightrec_ops ops;
 141         unsigned int nb_precompile;
 142         unsigned int nb_maps;
 143         const struct lightrec_mem_map *maps;
 144         uintptr_t offset_ram, offset_bios, offset_scratch;
 145         _Bool mirrors_mapped;
 146         _Bool invalidate_from_dma_only;
 147         void *code_lut[];
 148 };
 149
 150 u32 lightrec_rw(struct lightrec_state *state, union code op,
 151                 u32 addr, u32 data, u16 *flags,
 152                 struct block *block);
 153
 154 void lightrec_free_block(struct lightrec_state *state, struct block *block);
 155
 156 void remove_from_code_lut(struct blockcache *cache, struct block *block);
 157
 158 const struct lightrec_mem_map *
 159 lightrec_get_map(struct lightrec_state *state, void **host, u32 kaddr);
 160
 161 static inline u32 kunseg(u32 addr)
 162 {
 163         if (unlikely(addr >= 0xa0000000))
 164                 return addr - 0xa0000000;
 165         else
 166                 return addr &~ 0x80000000;
 167 }
 168
 169 static inline u32 lut_offset(u32 pc)
 170 {
 171         if (pc & BIT(28))
 172                 return ((pc & (BIOS_SIZE - 1)) + RAM_SIZE) >> 2; // BIOS
 173         else
 174                 return (pc & (RAM_SIZE - 1)) >> 2; // RAM
 175 }
 176
 177 static inline u32 get_ds_pc(const struct block *block, u16 offset, s16 imm)
 178 {
 179         u16 flags = block->opcode_list[offset].flags;
 180
 181         offset += !!(OPT_SWITCH_DELAY_SLOTS && (flags & LIGHTREC_NO_DS));
 182
 183         return block->pc + (offset + imm << 2);
 184 }
 185
 186 static inline u32 get_branch_pc(const struct block *block, u16 offset, s16 imm)
 187 {
 188         u16 flags = block->opcode_list[offset].flags;
 189
 190         offset -= !!(OPT_SWITCH_DELAY_SLOTS && (flags & LIGHTREC_NO_DS));
 191
 192         return block->pc + (offset + imm << 2);
 193 }
 194
 195 void lightrec_mtc(struct lightrec_state *state, union code op, u32 data);
 196 u32 lightrec_mfc(struct lightrec_state *state, union code op);
 197 void lightrec_rfe(struct lightrec_state *state);
 198 void lightrec_cp(struct lightrec_state *state, union code op);
 199
 200 struct lightrec_cstate * lightrec_create_cstate(struct lightrec_state *state);
 201 void lightrec_free_cstate(struct lightrec_cstate *cstate);
 202
 203 union code lightrec_read_opcode(struct lightrec_state *state, u32 pc);
 204
 205 struct block * lightrec_get_block(struct lightrec_state *state, u32 pc);
 206 int lightrec_compile_block(struct lightrec_cstate *cstate, struct block *block);
 207 void lightrec_free_opcode_list(struct lightrec_state *state, struct block *block);
 208
 209 unsigned int lightrec_cycles_of_opcode(union code code);
 210
 211 static inline u8 get_mult_div_lo(union code c)
 212 {
 213         return (OPT_FLAG_MULT_DIV && c.r.rd) ? c.r.rd : REG_LO;
 214 }
 215
 216 static inline u8 get_mult_div_hi(union code c)
 217 {
 218         return (OPT_FLAG_MULT_DIV && c.r.imm) ? c.r.imm : REG_HI;
 219 }
 220
 221 #endif /* __LIGHTREC_PRIVATE_H__ */