Debian Codegraph @

src/nsMBCSSM.cpp

raw
1 /* -*- Mode: C; tab-width: 4; indent-tabs-mode: nil; c-basic-offset: 2 -*- */
2 /* ***** BEGIN LICENSE BLOCK *****
3 * Version: MPL 1.1/GPL 2.0/LGPL 2.1
4 *
5 * The contents of this file are subject to the Mozilla Public License Version
6 * 1.1 (the "License"); you may not use this file except in compliance with
7 * the License. You may obtain a copy of the License at
8 * http://www.mozilla.org/MPL/
9 *
10 * Software distributed under the License is distributed on an "AS IS" basis,
11 * WITHOUT WARRANTY OF ANY KIND, either express or implied. See the License
12 * for the specific language governing rights and limitations under the
13 * License.
14 *
15 * The Original Code is mozilla.org code.
16 *
17 * The Initial Developer of the Original Code is
18 * Netscape Communications Corporation.
19 * Portions created by the Initial Developer are Copyright (C) 1998
20 * the Initial Developer. All Rights Reserved.
21 *
22 * Contributor(s):
23 *
24 * Alternatively, the contents of this file may be used under the terms of
25 * either the GNU General Public License Version 2 or later (the "GPL"), or
26 * the GNU Lesser General Public License Version 2.1 or later (the "LGPL"),
27 * in which case the provisions of the GPL or the LGPL are applicable instead
28 * of those above. If you wish to allow use of your version of this file only
29 * under the terms of either the GPL or the LGPL, and not to allow others to
30 * use your version of this file under the terms of the MPL, indicate your
31 * decision by deleting the provisions above and replace them with the notice
32 * and other provisions required by the GPL or the LGPL. If you do not delete
33 * the provisions above, a recipient may use your version of this file under
34 * the terms of any one of the MPL, the GPL or the LGPL.
35 *
36 * ***** END LICENSE BLOCK ***** */
37 #include "nsCodingStateMachine.h"
38
39 /*
40 Modification from frank tang's original work:
41 . 0x00 is allowed as a legal character. Since some web pages contains this char in
42 text stream.
43 */
44
45 // BIG5
46
47 static const PRUint32 BIG5_cls [ 256 / 8 ] = {
48 //PCK4BITS(0,1,1,1,1,1,1,1), // 00 - 07
49 PCK4BITS(1,1,1,1,1,1,1,1), // 00 - 07 //allow 0x00 as legal value
50 PCK4BITS(1,1,1,1,1,1,0,0), // 08 - 0f
51 PCK4BITS(1,1,1,1,1,1,1,1), // 10 - 17
52 PCK4BITS(1,1,1,0,1,1,1,1), // 18 - 1f
53 PCK4BITS(1,1,1,1,1,1,1,1), // 20 - 27
54 PCK4BITS(1,1,1,1,1,1,1,1), // 28 - 2f
55 PCK4BITS(1,1,1,1,1,1,1,1), // 30 - 37
56 PCK4BITS(1,1,1,1,1,1,1,1), // 38 - 3f
57 PCK4BITS(2,2,2,2,2,2,2,2), // 40 - 47
58 PCK4BITS(2,2,2,2,2,2,2,2), // 48 - 4f
59 PCK4BITS(2,2,2,2,2,2,2,2), // 50 - 57
60 PCK4BITS(2,2,2,2,2,2,2,2), // 58 - 5f
61 PCK4BITS(2,2,2,2,2,2,2,2), // 60 - 67
62 PCK4BITS(2,2,2,2,2,2,2,2), // 68 - 6f
63 PCK4BITS(2,2,2,2,2,2,2,2), // 70 - 77
64 PCK4BITS(2,2,2,2,2,2,2,1), // 78 - 7f
65 PCK4BITS(4,4,4,4,4,4,4,4), // 80 - 87
66 PCK4BITS(4,4,4,4,4,4,4,4), // 88 - 8f
67 PCK4BITS(4,4,4,4,4,4,4,4), // 90 - 97
68 PCK4BITS(4,4,4,4,4,4,4,4), // 98 - 9f
69 PCK4BITS(4,3,3,3,3,3,3,3), // a0 - a7
70 PCK4BITS(3,3,3,3,3,3,3,3), // a8 - af
71 PCK4BITS(3,3,3,3,3,3,3,3), // b0 - b7
72 PCK4BITS(3,3,3,3,3,3,3,3), // b8 - bf
73 PCK4BITS(3,3,3,3,3,3,3,3), // c0 - c7
74 PCK4BITS(3,3,3,3,3,3,3,3), // c8 - cf
75 PCK4BITS(3,3,3,3,3,3,3,3), // d0 - d7
76 PCK4BITS(3,3,3,3,3,3,3,3), // d8 - df
77 PCK4BITS(3,3,3,3,3,3,3,3), // e0 - e7
78 PCK4BITS(3,3,3,3,3,3,3,3), // e8 - ef
79 PCK4BITS(3,3,3,3,3,3,3,3), // f0 - f7
80 PCK4BITS(3,3,3,3,3,3,3,0) // f8 - ff
81 };
82
83
84 static const PRUint32 BIG5_st [ 3] = {
85 PCK4BITS(eError,eStart,eStart, 3,eError,eError,eError,eError),//00-07
86 PCK4BITS(eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError),//08-0f
87 PCK4BITS(eError,eStart,eStart,eStart,eStart,eStart,eStart,eStart) //10-17
88 };
89
90 static const PRUint32 Big5CharLenTable[] = {0, 1, 1, 2, 0};
91
92 SMModel const Big5SMModel = {
93 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, BIG5_cls },
94 5,
95 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, BIG5_st },
96 Big5CharLenTable,
97 "BIG5",
98 };
99
100 static const PRUint32 EUCJP_cls [ 256 / 8 ] = {
101 //PCK4BITS(5,4,4,4,4,4,4,4), // 00 - 07
102 PCK4BITS(4,4,4,4,4,4,4,4), // 00 - 07
103 PCK4BITS(4,4,4,4,4,4,5,5), // 08 - 0f
104 PCK4BITS(4,4,4,4,4,4,4,4), // 10 - 17
105 PCK4BITS(4,4,4,5,4,4,4,4), // 18 - 1f
106 PCK4BITS(4,4,4,4,4,4,4,4), // 20 - 27
107 PCK4BITS(4,4,4,4,4,4,4,4), // 28 - 2f
108 PCK4BITS(4,4,4,4,4,4,4,4), // 30 - 37
109 PCK4BITS(4,4,4,4,4,4,4,4), // 38 - 3f
110 PCK4BITS(4,4,4,4,4,4,4,4), // 40 - 47
111 PCK4BITS(4,4,4,4,4,4,4,4), // 48 - 4f
112 PCK4BITS(4,4,4,4,4,4,4,4), // 50 - 57
113 PCK4BITS(4,4,4,4,4,4,4,4), // 58 - 5f
114 PCK4BITS(4,4,4,4,4,4,4,4), // 60 - 67
115 PCK4BITS(4,4,4,4,4,4,4,4), // 68 - 6f
116 PCK4BITS(4,4,4,4,4,4,4,4), // 70 - 77
117 PCK4BITS(4,4,4,4,4,4,4,4), // 78 - 7f
118 PCK4BITS(5,5,5,5,5,5,5,5), // 80 - 87
119 PCK4BITS(5,5,5,5,5,5,1,3), // 88 - 8f
120 PCK4BITS(5,5,5,5,5,5,5,5), // 90 - 97
121 PCK4BITS(5,5,5,5,5,5,5,5), // 98 - 9f
122 PCK4BITS(5,2,2,2,2,2,2,2), // a0 - a7
123 PCK4BITS(2,2,2,2,2,2,2,2), // a8 - af
124 PCK4BITS(2,2,2,2,2,2,2,2), // b0 - b7
125 PCK4BITS(2,2,2,2,2,2,2,2), // b8 - bf
126 PCK4BITS(2,2,2,2,2,2,2,2), // c0 - c7
127 PCK4BITS(2,2,2,2,2,2,2,2), // c8 - cf
128 PCK4BITS(2,2,2,2,2,2,2,2), // d0 - d7
129 PCK4BITS(2,2,2,2,2,2,2,2), // d8 - df
130 PCK4BITS(0,0,0,0,0,0,0,0), // e0 - e7
131 PCK4BITS(0,0,0,0,0,0,0,0), // e8 - ef
132 PCK4BITS(0,0,0,0,0,0,0,0), // f0 - f7
133 PCK4BITS(0,0,0,0,0,0,0,5) // f8 - ff
134 };
135
136
137 static const PRUint32 EUCJP_st [ 5] = {
138 PCK4BITS( 3, 4, 3, 5,eStart,eError,eError,eError),//00-07
139 PCK4BITS(eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe),//08-0f
140 PCK4BITS(eItsMe,eItsMe,eStart,eError,eStart,eError,eError,eError),//10-17
141 PCK4BITS(eError,eError,eStart,eError,eError,eError, 3,eError),//18-1f
142 PCK4BITS( 3,eError,eError,eError,eStart,eStart,eStart,eStart) //20-27
143 };
144
145 static const PRUint32 EUCJPCharLenTable[] = {2, 2, 2, 3, 1, 0};
146
147 const SMModel EUCJPSMModel = {
148 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCJP_cls },
149 6,
150 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCJP_st },
151 EUCJPCharLenTable,
152 "EUC-JP",
153 };
154
155 static const PRUint32 EUCKR_cls [ 256 / 8 ] = {
156 //PCK4BITS(0,1,1,1,1,1,1,1), // 00 - 07
157 PCK4BITS(1,1,1,1,1,1,1,1), // 00 - 07
158 PCK4BITS(1,1,1,1,1,1,0,0), // 08 - 0f
159 PCK4BITS(1,1,1,1,1,1,1,1), // 10 - 17
160 PCK4BITS(1,1,1,0,1,1,1,1), // 18 - 1f
161 PCK4BITS(1,1,1,1,1,1,1,1), // 20 - 27
162 PCK4BITS(1,1,1,1,1,1,1,1), // 28 - 2f
163 PCK4BITS(1,1,1,1,1,1,1,1), // 30 - 37
164 PCK4BITS(1,1,1,1,1,1,1,1), // 38 - 3f
165 PCK4BITS(1,1,1,1,1,1,1,1), // 40 - 47
166 PCK4BITS(1,1,1,1,1,1,1,1), // 48 - 4f
167 PCK4BITS(1,1,1,1,1,1,1,1), // 50 - 57
168 PCK4BITS(1,1,1,1,1,1,1,1), // 58 - 5f
169 PCK4BITS(1,1,1,1,1,1,1,1), // 60 - 67
170 PCK4BITS(1,1,1,1,1,1,1,1), // 68 - 6f
171 PCK4BITS(1,1,1,1,1,1,1,1), // 70 - 77
172 PCK4BITS(1,1,1,1,1,1,1,1), // 78 - 7f
173 PCK4BITS(0,0,0,0,0,0,0,0), // 80 - 87
174 PCK4BITS(0,0,0,0,0,0,0,0), // 88 - 8f
175 PCK4BITS(0,0,0,0,0,0,0,0), // 90 - 97
176 PCK4BITS(0,0,0,0,0,0,0,0), // 98 - 9f
177 PCK4BITS(0,2,2,2,2,2,2,2), // a0 - a7
178 PCK4BITS(2,2,2,2,2,3,3,3), // a8 - af
179 PCK4BITS(2,2,2,2,2,2,2,2), // b0 - b7
180 PCK4BITS(2,2,2,2,2,2,2,2), // b8 - bf
181 PCK4BITS(2,2,2,2,2,2,2,2), // c0 - c7
182 PCK4BITS(2,3,2,2,2,2,2,2), // c8 - cf
183 PCK4BITS(2,2,2,2,2,2,2,2), // d0 - d7
184 PCK4BITS(2,2,2,2,2,2,2,2), // d8 - df
185 PCK4BITS(2,2,2,2,2,2,2,2), // e0 - e7
186 PCK4BITS(2,2,2,2,2,2,2,2), // e8 - ef
187 PCK4BITS(2,2,2,2,2,2,2,2), // f0 - f7
188 PCK4BITS(2,2,2,2,2,2,2,0) // f8 - ff
189 };
190
191
192 static const PRUint32 EUCKR_st [ 2] = {
193 PCK4BITS(eError,eStart, 3,eError,eError,eError,eError,eError),//00-07
194 PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eError,eError,eStart,eStart) //08-0f
195 };
196
197 static const PRUint32 EUCKRCharLenTable[] = {0, 1, 2, 0};
198
199 const SMModel EUCKRSMModel = {
200 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCKR_cls },
201 4,
202 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCKR_st },
203 EUCKRCharLenTable,
204 "EUC-KR",
205 };
206
207 static const PRUint32 EUCTW_cls [ 256 / 8 ] = {
208 //PCK4BITS(0,2,2,2,2,2,2,2), // 00 - 07
209 PCK4BITS(2,2,2,2,2,2,2,2), // 00 - 07
210 PCK4BITS(2,2,2,2,2,2,0,0), // 08 - 0f
211 PCK4BITS(2,2,2,2,2,2,2,2), // 10 - 17
212 PCK4BITS(2,2,2,0,2,2,2,2), // 18 - 1f
213 PCK4BITS(2,2,2,2,2,2,2,2), // 20 - 27
214 PCK4BITS(2,2,2,2,2,2,2,2), // 28 - 2f
215 PCK4BITS(2,2,2,2,2,2,2,2), // 30 - 37
216 PCK4BITS(2,2,2,2,2,2,2,2), // 38 - 3f
217 PCK4BITS(2,2,2,2,2,2,2,2), // 40 - 47
218 PCK4BITS(2,2,2,2,2,2,2,2), // 48 - 4f
219 PCK4BITS(2,2,2,2,2,2,2,2), // 50 - 57
220 PCK4BITS(2,2,2,2,2,2,2,2), // 58 - 5f
221 PCK4BITS(2,2,2,2,2,2,2,2), // 60 - 67
222 PCK4BITS(2,2,2,2,2,2,2,2), // 68 - 6f
223 PCK4BITS(2,2,2,2,2,2,2,2), // 70 - 77
224 PCK4BITS(2,2,2,2,2,2,2,2), // 78 - 7f
225 PCK4BITS(0,0,0,0,0,0,0,0), // 80 - 87
226 PCK4BITS(0,0,0,0,0,0,6,0), // 88 - 8f
227 PCK4BITS(0,0,0,0,0,0,0,0), // 90 - 97
228 PCK4BITS(0,0,0,0,0,0,0,0), // 98 - 9f
229 PCK4BITS(0,3,4,4,4,4,4,4), // a0 - a7
230 PCK4BITS(5,5,1,1,1,1,1,1), // a8 - af
231 PCK4BITS(1,1,1,1,1,1,1,1), // b0 - b7
232 PCK4BITS(1,1,1,1,1,1,1,1), // b8 - bf
233 PCK4BITS(1,1,3,1,3,3,3,3), // c0 - c7
234 PCK4BITS(3,3,3,3,3,3,3,3), // c8 - cf
235 PCK4BITS(3,3,3,3,3,3,3,3), // d0 - d7
236 PCK4BITS(3,3,3,3,3,3,3,3), // d8 - df
237 PCK4BITS(3,3,3,3,3,3,3,3), // e0 - e7
238 PCK4BITS(3,3,3,3,3,3,3,3), // e8 - ef
239 PCK4BITS(3,3,3,3,3,3,3,3), // f0 - f7
240 PCK4BITS(3,3,3,3,3,3,3,0) // f8 - ff
241 };
242
243
244 static const PRUint32 EUCTW_st [ 6] = {
245 PCK4BITS(eError,eError,eStart, 3, 3, 3, 4,eError),//00-07
246 PCK4BITS(eError,eError,eError,eError,eError,eError,eItsMe,eItsMe),//08-0f
247 PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError,eStart,eError),//10-17
248 PCK4BITS(eStart,eStart,eStart,eError,eError,eError,eError,eError),//18-1f
249 PCK4BITS( 5,eError,eError,eError,eStart,eError,eStart,eStart),//20-27
250 PCK4BITS(eStart,eError,eStart,eStart,eStart,eStart,eStart,eStart) //28-2f
251 };
252
253 static const PRUint32 EUCTWCharLenTable[] = {0, 0, 1, 2, 2, 2, 3};
254
255 const SMModel EUCTWSMModel = {
256 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCTW_cls },
257 7,
258 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCTW_st },
259 EUCTWCharLenTable,
260 "EUC-TW",
261 };
262
263 /* obsolete GB2312 by GB18030
264 static PRUint32 GB2312_cls [ 256 / 8 ] = {
265 //PCK4BITS(0,1,1,1,1,1,1,1), // 00 - 07
266 PCK4BITS(1,1,1,1,1,1,1,1), // 00 - 07
267 PCK4BITS(1,1,1,1,1,1,0,0), // 08 - 0f
268 PCK4BITS(1,1,1,1,1,1,1,1), // 10 - 17
269 PCK4BITS(1,1,1,0,1,1,1,1), // 18 - 1f
270 PCK4BITS(1,1,1,1,1,1,1,1), // 20 - 27
271 PCK4BITS(1,1,1,1,1,1,1,1), // 28 - 2f
272 PCK4BITS(1,1,1,1,1,1,1,1), // 30 - 37
273 PCK4BITS(1,1,1,1,1,1,1,1), // 38 - 3f
274 PCK4BITS(1,1,1,1,1,1,1,1), // 40 - 47
275 PCK4BITS(1,1,1,1,1,1,1,1), // 48 - 4f
276 PCK4BITS(1,1,1,1,1,1,1,1), // 50 - 57
277 PCK4BITS(1,1,1,1,1,1,1,1), // 58 - 5f
278 PCK4BITS(1,1,1,1,1,1,1,1), // 60 - 67
279 PCK4BITS(1,1,1,1,1,1,1,1), // 68 - 6f
280 PCK4BITS(1,1,1,1,1,1,1,1), // 70 - 77
281 PCK4BITS(1,1,1,1,1,1,1,1), // 78 - 7f
282 PCK4BITS(1,0,0,0,0,0,0,0), // 80 - 87
283 PCK4BITS(0,0,0,0,0,0,0,0), // 88 - 8f
284 PCK4BITS(0,0,0,0,0,0,0,0), // 90 - 97
285 PCK4BITS(0,0,0,0,0,0,0,0), // 98 - 9f
286 PCK4BITS(0,2,2,2,2,2,2,2), // a0 - a7
287 PCK4BITS(2,2,3,3,3,3,3,3), // a8 - af
288 PCK4BITS(2,2,2,2,2,2,2,2), // b0 - b7
289 PCK4BITS(2,2,2,2,2,2,2,2), // b8 - bf
290 PCK4BITS(2,2,2,2,2,2,2,2), // c0 - c7
291 PCK4BITS(2,2,2,2,2,2,2,2), // c8 - cf
292 PCK4BITS(2,2,2,2,2,2,2,2), // d0 - d7
293 PCK4BITS(2,2,2,2,2,2,2,2), // d8 - df
294 PCK4BITS(2,2,2,2,2,2,2,2), // e0 - e7
295 PCK4BITS(2,2,2,2,2,2,2,2), // e8 - ef
296 PCK4BITS(2,2,2,2,2,2,2,2), // f0 - f7
297 PCK4BITS(2,2,2,2,2,2,2,0) // f8 - ff
298 };
299
300
301 static PRUint32 GB2312_st [ 2] = {
302 PCK4BITS(eError,eStart, 3,eError,eError,eError,eError,eError),//00-07
303 PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eError,eError,eStart,eStart) //08-0f
304 };
305
306 static const PRUint32 GB2312CharLenTable[] = {0, 1, 2, 0};
307
308 SMModel GB2312SMModel = {
309 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, GB2312_cls },
310 4,
311 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, GB2312_st },
312 GB2312CharLenTable,
313 "GB2312",
314 };
315 */
316
317 // the following state machine data was created by perl script in
318 // intl/chardet/tools. It should be the same as in PSM detector.
319 static const PRUint32 GB18030_cls [ 256 / 8 ] = {
320 PCK4BITS(1,1,1,1,1,1,1,1), // 00 - 07
321 PCK4BITS(1,1,1,1,1,1,0,0), // 08 - 0f
322 PCK4BITS(1,1,1,1,1,1,1,1), // 10 - 17
323 PCK4BITS(1,1,1,0,1,1,1,1), // 18 - 1f
324 PCK4BITS(1,1,1,1,1,1,1,1), // 20 - 27
325 PCK4BITS(1,1,1,1,1,1,1,1), // 28 - 2f
326 PCK4BITS(3,3,3,3,3,3,3,3), // 30 - 37
327 PCK4BITS(3,3,1,1,1,1,1,1), // 38 - 3f
328 PCK4BITS(2,2,2,2,2,2,2,2), // 40 - 47
329 PCK4BITS(2,2,2,2,2,2,2,2), // 48 - 4f
330 PCK4BITS(2,2,2,2,2,2,2,2), // 50 - 57
331 PCK4BITS(2,2,2,2,2,2,2,2), // 58 - 5f
332 PCK4BITS(2,2,2,2,2,2,2,2), // 60 - 67
333 PCK4BITS(2,2,2,2,2,2,2,2), // 68 - 6f
334 PCK4BITS(2,2,2,2,2,2,2,2), // 70 - 77
335 PCK4BITS(2,2,2,2,2,2,2,4), // 78 - 7f
336 PCK4BITS(5,6,6,6,6,6,6,6), // 80 - 87
337 PCK4BITS(6,6,6,6,6,6,6,6), // 88 - 8f
338 PCK4BITS(6,6,6,6,6,6,6,6), // 90 - 97
339 PCK4BITS(6,6,6,6,6,6,6,6), // 98 - 9f
340 PCK4BITS(6,6,6,6,6,6,6,6), // a0 - a7
341 PCK4BITS(6,6,6,6,6,6,6,6), // a8 - af
342 PCK4BITS(6,6,6,6,6,6,6,6), // b0 - b7
343 PCK4BITS(6,6,6,6,6,6,6,6), // b8 - bf
344 PCK4BITS(6,6,6,6,6,6,6,6), // c0 - c7
345 PCK4BITS(6,6,6,6,6,6,6,6), // c8 - cf
346 PCK4BITS(6,6,6,6,6,6,6,6), // d0 - d7
347 PCK4BITS(6,6,6,6,6,6,6,6), // d8 - df
348 PCK4BITS(6,6,6,6,6,6,6,6), // e0 - e7
349 PCK4BITS(6,6,6,6,6,6,6,6), // e8 - ef
350 PCK4BITS(6,6,6,6,6,6,6,6), // f0 - f7
351 PCK4BITS(6,6,6,6,6,6,6,0) // f8 - ff
352 };
353
354
355 static const PRUint32 GB18030_st [ 6] = {
356 PCK4BITS(eError,eStart,eStart,eStart,eStart,eStart, 3,eError),//00-07
357 PCK4BITS(eError,eError,eError,eError,eError,eError,eItsMe,eItsMe),//08-0f
358 PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError,eError,eStart),//10-17
359 PCK4BITS( 4,eError,eStart,eStart,eError,eError,eError,eError),//18-1f
360 PCK4BITS(eError,eError, 5,eError,eError,eError,eItsMe,eError),//20-27
361 PCK4BITS(eError,eError,eStart,eStart,eStart,eStart,eStart,eStart) //28-2f
362 };
363
364 // To be accurate, the length of class 6 can be either 2 or 4.
365 // But it is not necessary to discriminate between the two since
366 // it is used for frequency analysis only, and we are validing
367 // each code range there as well. So it is safe to set it to be
368 // 2 here.
369 static const PRUint32 GB18030CharLenTable[] = {0, 1, 1, 1, 1, 1, 2};
370
371 const SMModel GB18030SMModel = {
372 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, GB18030_cls },
373 7,
374 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, GB18030_st },
375 GB18030CharLenTable,
376 "GB18030",
377 };
378
379 // sjis
380
381 static const PRUint32 SJIS_cls [ 256 / 8 ] = {
382 //PCK4BITS(0,1,1,1,1,1,1,1), // 00 - 07
383 PCK4BITS(1,1,1,1,1,1,1,1), // 00 - 07
384 PCK4BITS(1,1,1,1,1,1,0,0), // 08 - 0f
385 PCK4BITS(1,1,1,1,1,1,1,1), // 10 - 17
386 PCK4BITS(1,1,1,0,1,1,1,1), // 18 - 1f
387 PCK4BITS(1,1,1,1,1,1,1,1), // 20 - 27
388 PCK4BITS(1,1,1,1,1,1,1,1), // 28 - 2f
389 PCK4BITS(1,1,1,1,1,1,1,1), // 30 - 37
390 PCK4BITS(1,1,1,1,1,1,1,1), // 38 - 3f
391 PCK4BITS(2,2,2,2,2,2,2,2), // 40 - 47
392 PCK4BITS(2,2,2,2,2,2,2,2), // 48 - 4f
393 PCK4BITS(2,2,2,2,2,2,2,2), // 50 - 57
394 PCK4BITS(2,2,2,2,2,2,2,2), // 58 - 5f
395 PCK4BITS(2,2,2,2,2,2,2,2), // 60 - 67
396 PCK4BITS(2,2,2,2,2,2,2,2), // 68 - 6f
397 PCK4BITS(2,2,2,2,2,2,2,2), // 70 - 77
398 PCK4BITS(2,2,2,2,2,2,2,1), // 78 - 7f
399 PCK4BITS(3,3,3,3,3,3,3,3), // 80 - 87
400 PCK4BITS(3,3,3,3,3,3,3,3), // 88 - 8f
401 PCK4BITS(3,3,3,3,3,3,3,3), // 90 - 97
402 PCK4BITS(3,3,3,3,3,3,3,3), // 98 - 9f
403 //0xa0 is illegal in sjis encoding, but some pages does
404 //contain such byte. We need to be more error forgiven.
405 PCK4BITS(2,2,2,2,2,2,2,2), // a0 - a7
406 PCK4BITS(2,2,2,2,2,2,2,2), // a8 - af
407 PCK4BITS(2,2,2,2,2,2,2,2), // b0 - b7
408 PCK4BITS(2,2,2,2,2,2,2,2), // b8 - bf
409 PCK4BITS(2,2,2,2,2,2,2,2), // c0 - c7
410 PCK4BITS(2,2,2,2,2,2,2,2), // c8 - cf
411 PCK4BITS(2,2,2,2,2,2,2,2), // d0 - d7
412 PCK4BITS(2,2,2,2,2,2,2,2), // d8 - df
413 PCK4BITS(3,3,3,3,3,3,3,3), // e0 - e7
414 PCK4BITS(3,3,3,3,3,4,4,4), // e8 - ef
415 PCK4BITS(4,4,4,4,4,4,4,4), // f0 - f7
416 PCK4BITS(4,4,4,4,4,0,0,0) // f8 - ff
417 };
418
419
420 static const PRUint32 SJIS_st [ 3] = {
421 PCK4BITS(eError,eStart,eStart, 3,eError,eError,eError,eError),//00-07
422 PCK4BITS(eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe),//08-0f
423 PCK4BITS(eItsMe,eItsMe,eError,eError,eStart,eStart,eStart,eStart) //10-17
424 };
425
426 static const PRUint32 SJISCharLenTable[] = {0, 1, 1, 2, 0, 0};
427
428 const SMModel SJISSMModel = {
429 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, SJIS_cls },
430 6,
431 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, SJIS_st },
432 SJISCharLenTable,
433 "SHIFT_JIS",
434 };
435
436
437 static const PRUint32 UTF8_cls [ 256 / 8 ] = {
438 //PCK4BITS(0,1,1,1,1,1,1,1), // 00 - 07
439 PCK4BITS(1,1,1,1,1,1,1,1), // 00 - 07 //allow 0x00 as a legal value
440 PCK4BITS(1,1,1,1,1,1,0,0), // 08 - 0f
441 PCK4BITS(1,1,1,1,1,1,1,1), // 10 - 17
442 PCK4BITS(1,1,1,0,1,1,1,1), // 18 - 1f
443 PCK4BITS(1,1,1,1,1,1,1,1), // 20 - 27
444 PCK4BITS(1,1,1,1,1,1,1,1), // 28 - 2f
445 PCK4BITS(1,1,1,1,1,1,1,1), // 30 - 37
446 PCK4BITS(1,1,1,1,1,1,1,1), // 38 - 3f
447 PCK4BITS(1,1,1,1,1,1,1,1), // 40 - 47
448 PCK4BITS(1,1,1,1,1,1,1,1), // 48 - 4f
449 PCK4BITS(1,1,1,1,1,1,1,1), // 50 - 57
450 PCK4BITS(1,1,1,1,1,1,1,1), // 58 - 5f
451 PCK4BITS(1,1,1,1,1,1,1,1), // 60 - 67
452 PCK4BITS(1,1,1,1,1,1,1,1), // 68 - 6f
453 PCK4BITS(1,1,1,1,1,1,1,1), // 70 - 77
454 PCK4BITS(1,1,1,1,1,1,1,1), // 78 - 7f
455 PCK4BITS(2,2,2,2,3,3,3,3), // 80 - 87
456 PCK4BITS(4,4,4,4,4,4,4,4), // 88 - 8f
457 PCK4BITS(4,4,4,4,4,4,4,4), // 90 - 97
458 PCK4BITS(4,4,4,4,4,4,4,4), // 98 - 9f
459 PCK4BITS(5,5,5,5,5,5,5,5), // a0 - a7
460 PCK4BITS(5,5,5,5,5,5,5,5), // a8 - af
461 PCK4BITS(5,5,5,5,5,5,5,5), // b0 - b7
462 PCK4BITS(5,5,5,5,5,5,5,5), // b8 - bf
463 PCK4BITS(0,0,6,6,6,6,6,6), // c0 - c7
464 PCK4BITS(6,6,6,6,6,6,6,6), // c8 - cf
465 PCK4BITS(6,6,6,6,6,6,6,6), // d0 - d7
466 PCK4BITS(6,6,6,6,6,6,6,6), // d8 - df
467 PCK4BITS(7,8,8,8,8,8,8,8), // e0 - e7
468 PCK4BITS(8,8,8,8,8,9,8,8), // e8 - ef
469 PCK4BITS(10,11,11,11,11,11,11,11), // f0 - f7
470 PCK4BITS(12,13,13,13,14,15,0,0) // f8 - ff
471 };
472
473
474 static const PRUint32 UTF8_st [ 26] = {
475 PCK4BITS(eError,eStart,eError,eError,eError,eError, 12, 10),//00-07
476 PCK4BITS( 9, 11, 8, 7, 6, 5, 4, 3),//08-0f
477 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//10-17
478 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//18-1f
479 PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe),//20-27
480 PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe),//28-2f
481 PCK4BITS(eError,eError, 5, 5, 5, 5,eError,eError),//30-37
482 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//38-3f
483 PCK4BITS(eError,eError,eError, 5, 5, 5,eError,eError),//40-47
484 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//48-4f
485 PCK4BITS(eError,eError, 7, 7, 7, 7,eError,eError),//50-57
486 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//58-5f
487 PCK4BITS(eError,eError,eError,eError, 7, 7,eError,eError),//60-67
488 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//68-6f
489 PCK4BITS(eError,eError, 9, 9, 9, 9,eError,eError),//70-77
490 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//78-7f
491 PCK4BITS(eError,eError,eError,eError,eError, 9,eError,eError),//80-87
492 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//88-8f
493 PCK4BITS(eError,eError, 12, 12, 12, 12,eError,eError),//90-97
494 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//98-9f
495 PCK4BITS(eError,eError,eError,eError,eError, 12,eError,eError),//a0-a7
496 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//a8-af
497 PCK4BITS(eError,eError, 12, 12, 12,eError,eError,eError),//b0-b7
498 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//b8-bf
499 PCK4BITS(eError,eError,eStart,eStart,eStart,eStart,eError,eError),//c0-c7
500 PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError) //c8-cf
501 };
502
503 static const PRUint32 UTF8CharLenTable[] = {0, 1, 0, 0, 0, 0, 2, 3,
504 3, 3, 4, 4, 5, 5, 6, 6 };
505
506 const SMModel UTF8SMModel = {
507 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, UTF8_cls },
508 16,
509 {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, UTF8_st },
510 UTF8CharLenTable,
511 "UTF-8",
512 };
513