1、python序列化使用内置的pickle，对象可以序列化为字节或文件；

2、仅仅序列化json数据，或者限制反序列化类型，避免反序列化漏洞；

序列化示例：

data = {'name':'Alice', 'age':25, 'city':'New York'}
#dump to json
data_json = json.dumps(data)
data = json.loads(data_json)
#dump to byte
data_bytes = pickle.dumps(data)
data = pickle.loads(data_bytes)
#dump to file
with open('data.pickle', 'wb') as file:
    pickle.dump(data, file)
with open('data.pickle', 'rb') as file:
    data = pickle.load(file)

解析序列化数据：

data = {'name':'Alice', 'age':25, 'city':'New York'}
data_bytes = pickle.dumps(data)
data = pickle.loads(data_bytes)
pickletools.dis(data_bytes)

恶意反序列化：

class Malicious:
    def __reduce__(self):
        return (os.system, ('ls -al',))
malicious_data = pickle.dumps(Malicious())
pickle.loads(malicious_data)

反序列化类型限制：

permitTypes = {"str", "list", "dict", "set", "int", "float", "bool"}
class RestrictedUnpickler(pickle.Unpickler):
    def find_class(self, module, name):
        if module == "builtins" and name in permitTypes:
            return pickle.Unpickler.find_class(self, module, name)
        raise pickle.UnpicklingError(f"global {module}.{name} is forbidden")
def restricted_loads(s):
    return RestrictedUnpickler(io.BytesIO(s)).load()

1、vsftp是最安全的ftp服务端；

2、filezilla-server是最方便的ftp服务端，filezilla是最方便的ftp客户端；

3、ftp将目录绑定给用户，用户即可访问该目录的文件，从而实现权限控制；

4、sshd支持sftp协议，使用sftp不需要额外安装服务；

5、数据传输主动模式：服务器通过20端口连接到客户端，进行数据传输；

6、数据传输被动模式：服务器开启大于等于1024的端口，客户端连接此端口，进行数据传输；

7、读取目录列表失败，配置iptables导致模块被卸载，需要重新加载模块modprobe ip_nat_ftp；

安装：

yum -y install vsftpd
service vsftpd start
chkconfig --level 35 vsftpd on

配置/etc/vsftpd/vsftpd.conf：

anonymous_enable=NO，禁止匿名登录
xferlog_enable=YES，打开xferlog
xferlog_file=/var/log/xferlog

chroot_local_user=YES，限制用户只能访问自己的目录
chroot_list_enable=NO，禁止限制例外
chroot_list_file=/etc/vsftpd/chroot_list

userlist_enable=YES，user_list文件内用户禁止登录

创建用户：

useradd ftpuser -d /home/ftproot/ftpuser -G nobody
passwd ftpuser

配置/etc/sysconfig/iptables：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 21 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 20 -j ACCEPT
-A INPUT -m state --state ESTABLISHED,RELATED -m tcp -p tcp --dport 1024: -j ACCEPT

service iptables restart

限制服务占用磁盘空间：

dd if=/dev/zero of=ftp.img bs=2M count=4096
losetup /dev/loop0 ftp.img
mkfs.ext4 /dev/loop0
mkdir /home/ftproot
mount /dev/loop0 /home/ftproot

1、代码仓库：https://github.com/Textualize/rich

2、帮助文档：https://rich.readthedocs.io/en/latest

3、rich安装：pip install rich

优雅输出：

from rich import print

from rich.pretty import pprint

优雅输出(交互式场景)：

from rich import pretty
pretty.install()

优雅输出(复杂样式)：

from rich.console import Console
console = Console()
console.print("Hello", "World!", style="bold red")

优雅侦查：

from rich import inspect
my_list = ["foo", "bar"]
inspect(my_list, methods=True)

二、pyqrcode生成二维码

1、pyqrcode代码仓库：https://github.com/mnooner256/pyqrcode

2、pyqrcode安装：pip.exe install pyqrcode，pip.exe install pypng

3、scale每个方块多少像素，quiet_zone边缘有几个空白方块；

4、容错率：L=7%、M=15%、Q=25%、H=30%，容错率越高，空间利用率越低；

5、编码方式：numeric、alphanumeric、binary、kanji，单个字符所用比特递增；

代码示例：

import pyqrcode
qr = pyqrcode.create('Some data', error='M', mode='binary')
qr.png('some_file0.png', scale=10)
qr.show(scale=10,quiet_zone=4)
print(qr.terminal())

三、qrcode生成二维码（推荐使用）

1、qrcode代码仓库：https://github.com/lincolnloop/python-qrcode

2、qrcode安装：pip.exe install "qrcode[pil]"

3、box_size每个方块多少像素，border边缘有几个空白方块；

代码示例：

import qrcode
img = qrcode.make('Some data')
img.save('some_file1.png')

配置参数：

import qrcode

qr = qrcode.QRCode(version=1,box_size=10,border=4,
    error_correction=qrcode.constants.ERROR_CORRECT_M)
qr.add_data('Some data')
qr.make(fit=True)
img = qr.make_image(fill_color='black', back_color='white')
img.save('some_file2.png')

对齐字符说明：

1、格式第一个字符指定字节序、大小、对齐策略；

2、第一个字符不是以下任一字符，默认为@字符；

3、native表示当前机器的大端小端；

数据字符说明：

1、数据字符前面加数字表示重复，比如'4i' = 'iiii'；

2、表达式中的空白字符被忽略，但数字和数据字符之间不能有空白；

打印字符串十六进制：

def printHex(s):

    for ch in s:
        print '0x%02x' % ord(ch),
    print

pack转换为二进制数据：

1、计算数据长度，print struct.calcsize('ii')，输出8

2、转换整数，printHex(struct.pack('i', 1))，输出0x01 0x00 0x00 0x00

3、补齐，printHex(struct.pack('ixx', 1))，输出0x01 0x00 0x00 0x00 0x00 0x00

4、对齐，printHex(struct.pack('ic', 1, 'a'))，输出0x01 0x00 0x00 0x00 0x61

5、对齐，printHex(struct.pack('ci', 'a', 1))，输出0x61 0x00 0x00 0x00 0x01 0x00 0x00 0x00

unpack解析二进制数据：

1、print struct.unpack('i', struct.pack('i', 1))，输出(1,)

2、print struct.unpack('ci', struct.pack('ci', 'a', 1))，输出('a', 1)

3、print struct.unpack('3s', struct.pack('3s', 'abc'))，输出('abc',)

使用缓存转换数据：

buf = ctypes.create_string_buffer(100)
struct.pack_into('i', buf, 1, 5)
print struct.unpack_from('i', buf, 1)

1、oauth规范：https://datatracker.ietf.org/doc/html/rfc6749

2、pkce规范：https://datatracker.ietf.org/doc/html/rfc7636

3、设备授权：https://datatracker.ietf.org/doc/html/rfc8628

4、token吊销：https://datatracker.ietf.org/doc/html/rfc7009

5、token内省：https://datatracker.ietf.org/doc/html/rfc7662

6、metadata：https://datatracker.ietf.org/doc/html/rfc8414

7、http认证：https://datatracker.ietf.org/doc/html/rfc2617

8、bearer认证：https://datatracker.ietf.org/doc/html/rfc6750

oauth授权方式：

1、Authorization Code：授权码模式，用户授权才能访问资源，设备有浏览器，返回access_token，返回refresh_token；

2、Device Authorization：设备码模式，用户授权才能访问资源，设备没有浏览器，返回access_token，返回refresh_token；

3、Client Credentials：客户端凭证模式，无需用户授权访问资源，返回access_token，不返回refresh_token；

oidc使用介绍：

1、oidc规范：https://openid.net/specs/openid-connect-core-1_0.html

2、多个响应类型：https://openid.net/specs/oauth-v2-multiple-response-types-1_0.html

3、认证策略扩展：https://openid.net/specs/openid-provider-authentication-policy-extension-1_0.html

4、认证方法引用：https://datatracker.ietf.org/doc/html/rfc8176

5、oidc认证用户成功，返回一个签名的id_token，包含认证用户的信息；

6、id_token必填字段：iss签发者、sub用户标识、aud客户端ID、exp过期时间、iat签发时间；

7、id_token可选字段：auth_time认证时间、nonce随机值、acr认证等级、amr认证方法、azp认证客户端；

二、oauthlib使用介绍

1、oauthlib代码仓库：https://github.com/oauthlib/oauthlib

2、oauthlib代码仓库：https://github.com/requests/requests-oauthlib

3、oauthlib帮助文档：https://oauthlib.readthedocs.io/en/latest

4、oauthlib帮助文档：https://requests-oauthlib.readthedocs.io/en/latest

5、oauthlib安装：pip install oauthlib

6、oauthlib安装：pip install requests requests-oauthlib

7、OAuth2Session.fetch_token会根据expires_in计算expires_at

8、OAuth2Session.refresh_token会根据expires_in计算expires_at

09、服务端验证器：服务端需要实现RequestValidator，用于验证客户端的请求；

10、服务端验证器示例：https://github.com/oauthlib/oauthlib/blob/master/examples/skeleton_oauth2_web_application_server.py

11、协议外自定义验证：RequestValidator之外增加额外校验，pre_auth, post_auth，pre_token, post_token；

12、协议外自定义验证：https://oauthlib.readthedocs.io/en/latest/oauth2/grants/custom_validators.html

13、自定义授权：https://oauthlib.readthedocs.io/en/latest/oauth2/grants/custom_grant.html

14、自定义token：WebApplicationServer的token_generator用于自定义token生成器；

oauthlib授权码模式：

1、常用参数：client_id、client_secret、redirect_uri、scope、state

2、资源服务重定向到授权服务：OAuth2Session.authorization_url

3、授权服务返回授权码：Server.create_authorization_response

4、资源服务请求token：OAuth2Session.fetch_token

5、授权服务返回token：Server.create_token_response

6、资源服务携带token请求：OAuth2Session.get

7、资源服务携带token请求：OAuth2Session.post

oauthlib授权码模式+pkce：

1、常用参数：client_id、code_verifier、code_challenge、redirect_uri、scope、state

2、资源服务重定向到授权服务：OAuth2Session.authorization_url

3、授权服务返回授权码：Server.create_authorization_response

4、资源服务请求token：OAuth2Session.fetch_token

5、授权服务返回token：Server.create_token_response

6、资源服务携带token请求：OAuth2Session.get

7、资源服务携带token请求：OAuth2Session.post

oauthlib设备码模式：

1、常用参数：client_id、client_secret、device_code、user_code、verification_uri、scope

2、requests-oauthlib不支持设备码模式，客户端需要使用requests + oauthlib的DeviceClient自行实现；

oauthlib客户端凭证模式：

1、常用参数：client_id、client_secret、scope

2、资源服务请求token：OAuth2Session.fetch_token

3、授权服务返回token：Server.create_token_response

4、资源服务携带token请求：OAuth2Session.get

5、资源服务携带token请求：OAuth2Session.post

三、authlib使用介绍

1、authlib代码仓库：https://github.com/authlib/authlib

2、authlib帮助文档：https://docs.authlib.org/en/stable

3、authlib安装：pip install Authlib

四、pyjwt使用介绍

1、jwt在线规范：https://datatracker.ietf.org/doc/html/rfc7519

2、jwt公共字段：https://www.iana.org/assignments/jwt/jwt.xhtml

3、pyjwt代码仓库：https://github.com/jpadilla/pyjwt

4、pyjwt帮助文档：https://pyjwt.readthedocs.io/en/stable

5、jwt格式：base64(header).base64(payload).base64(sign)

6、jwt字段：注册字段、公共字段、私有字段；

7、jwt字段：注册字段是在规范里面的公共字段；

8、安装依赖：pip install pyjwt

使用详解：

1、无校验获取头部：jwt.get_unverified_header(encoded)

2、无校验解码：jwt.decode(encoded, options={"verify_signature": False})

3、校验解码(返回payload)：jwt.decode(encoded, key, algorithms="HS256")

4、校验解码(返回全部)：jwt.decode_complete(encoded, key, algorithms="HS256")

计算哈希：

algo = jwt.get_algorithm_by_name("HS256")
hash = algo.compute_hash_digest("data".encode())
print(hash)

1、openspec：https://github.com/Fission-AI/OpenSpec，比较简单，推荐使用；

2、speckit：https://github.com/github/spec-kit，交付文件较多，适合大项目；

3、openspec安装：npm install -g @fission-ai/openspec@latest

4、openspec配置：setx OPENSPEC_TELEMETRY 0

帮助文档：

1、终端命令：https://github.com/Fission-AI/OpenSpec/blob/main/docs/cli.md

2、插件命令：https://github.com/Fission-AI/OpenSpec/blob/main/docs/commands.md

3、入门帮助：https://github.com/Fission-AI/OpenSpec/blob/main/docs/getting-started.md

4、工作流程：https://github.com/Fission-AI/OpenSpec/blob/main/docs/workflows.md

5、详细帮助：https://github.com/Fission-AI/OpenSpec/blob/main/docs/opsx.md

常用命令：

1、初始化项目：openspec init

2、更新项目插件：openspec update

3、查看变更列表：openspec list

4、查看变更详情：openspec view

5、查看变更内容：openspec show

6、验证变更内容：openspec validate

初始化项目：

cd project
openspec init

openspec\config.yaml：

context: |
  语言：中文（简体）
  所有产出物必须用简体中文撰写。

核心流程：

1、/opsx:explore [topic]

2、/opsx:propose [change-name-or-description]

3、/opsx:apply [change-name]

4、/opsx:archive [change-name]

二、扩展工作流程

1、扩展工作流程是全局配置，所有项目生效；

2、扩展工作流程：openspec config profile
3、更新项目插件：openspec update

扩展流程：

1、/opsx:new [change-name]

2、/opsx:continue [change-name]

3、/opsx:ff [change-name]

4、/opsx:apply [change-name]

5、/opsx:verify [change-name]

6、/opsx:archive [change-name]

1、入门帮助：https://platform.claude.com/docs/en/get-started

2、发送消息示例：https://platform.claude.com/docs/en/build-with-claude/working-with-messages

3、上传文件示例：https://platform.claude.com/docs/en/build-with-claude/files

4、结构化输出：https://platform.claude.com/docs/en/build-with-claude/structured-outputs

5、发送消息支持：basic单条消息，multiple多轮对话，prefill预填充结果，vision解析图片；

6、输出结果约束：prefill预填充结果，structured-output结构化输出，system系统提示词；

7、安装依赖：pip install anthropic

使用工具：

1、工具概况：https://platform.claude.com/docs/en/agents-and-tools/tool-use/overview

2、工具原理：https://platform.claude.com/docs/en/agents-and-tools/tool-use/how-tool-use-works

3、工具调用：https://platform.claude.com/docs/en/agents-and-tools/tool-use/build-a-tool-using-agent

4、工具开发：https://platform.claude.com/docs/en/agents-and-tools/tool-use/define-tools

5、工具分类：User-defined用户自定义工具，Anthropic-schema客户端内置工具，Server-executed服务端执行工具；

6、工具配置：defer_loading延迟加载，allowed_callers限制调用方，strict严格校验模式，cache_control缓存调用结果；

发送消息接口：https://platform.claude.com/docs/en/api/python/messages/create

发送消息接口：messages.create(**kwargs) -> Message

1、max_tokens，最大生成多少token，防止消耗过多token；

2、messages，消息内容，消息数组主要是为了支持上下文；

3、system，系统提示词，不设置时使用默认的系统提示词；

4、output_config，设置努力级别，设置输出格式schema；

5、stop_sequences，生成的内容出现这些字符串，生成立即停止；

6、tool_choice，控制模型如何使用工具，比如必须调用指定工具；

7、tools，定义模型可以调用的工具列表，允许调用的工具列表；

1、搜索指定站点site:domain 关键字，搜索指定文件类型filetype:pdf 关键字；

2、robots.txt文件用于告诉搜索引擎可以访问哪些文件，不可以访问哪些文件；

二、网站强制更新

1、前端页面编码当前服务版本；

2、后端提供接口获取当前服务版本；

3、比对前端版本和后端版本，不一致则强制更新windows.location.reload(true)；

三、分页原理

1、首页查询：查询数据总量和首页数据；

2、换页查询：基于前一页的数据索引查询换页数据；

3、分页排序：可以后端全局排序，可以前端局部排序；

四、实体编码

1、实体编码用于输出某些无法做为普通文本显示的字符；

2、实体编码支持实体名称、十进制实体编号、十六进制实体编号；

3、比如双引号可以编码：" " "

4、BurpSuite编解码工具支持实体编码转换；

5、org.springframework.web.util.HtmlUtils支持实体编码转换；

实体编码：

1、<：&lt;
2、>：&gt;
3、&：&amp;

4、空格：&nbsp;
5、双引号：&quot;
6、单引号：&apos;

五、验证码作用

验证码作用：

1、验证码可以在真正操作之前进行一次校验，防止暴力攻击比较有效；

2、如果验证码能够破解，但比较困难，可以在验证码验证失败时刷新；

3、如果验证码非常容易破解，这个时候只能借助频控防止暴力攻击；

验证码原理：

1、后台生成4位随机码，包含字母和数字，并写入会话；

2、使用随机码生成图片返回给前端展示，需要使用彩色图片；

3、验证成功之后验证码失效，验证失败之后验证码仍然有效，频繁失效验证码会导致性能问题；

六、tesseract识别验证码

1、官方网址：https://github.com/tesseract-ocr/tesseract

2、win命令行：https://github.com/UB-Mannheim/tesseract/wiki

3、win图形界面：https://github.com/manisandro/gImageReader

4、识别文字：tesseract imagename -，输出到命令行

5、识别文字：tesseract imagename outputbase，输出到文件

七、ddddocr识别验证码

1、官网地址：https://github.com/sml2h3/ddddocr

2、包含两套模型，默认使用旧模型，通过beta=True切换到新模型；

3、ocr.set_ranges(int|str)设置识别字符集，int是内置字符集，str是自定义字符集；

识别示例：

import ddddocr
ocr = ddddocr.DdddOcr(beta=True)
image = open("example.jpg", "rb").read()
result = ocr.classification(image)
print(result)

限定识别字符集：

import ddddocr
ocr = ddddocr.DdddOcr(beta=True)
ocr.set_ranges('ABCDEFG')
image = open("example.jpg", "rb").read()
result = ocr.classification(image, probability=True)
s = ''
for i in result['probability']:
    s += result['charsets'][i.index(max(i))]
print(s)

1、入门指引：https://code.claude.com/docs/zh-CN/hooks-guide

2、使用参考：https://code.claude.com/docs/zh-CN/hooks

3、

1、官方帮助：https://code.claude.com/docs/zh-CN/mcp

2、列出mcp：claude mcp list

3、查询mcp：claude mcp get <name>

4、增加http服务器：claude mcp add --transport http <name> <url>

5、增加sse服务器：claude mcp add --transport sse <name> <url>

6、增加stdio服务器：claude mcp add [options] <name> "--" <command> [args...]

7、增加stdio服务器：windows上面nxp命令需要使用cmd /c执行；

8、自身作为mcp：claude mcp serve

mcp配置：

1、安装范围：本地范围，-s local，存储在~/.claude.json，项目内使用，默认安装范围；

2、安装范围：项目范围，-s project，存储在$project/.mcp.json，项目内使用，提交到仓库；

3、安装范围：用户范围，-s user，存储在~/.claude.json，所有项目使用；

4、安装范围：同名服务的优先级，本地范围 > 项目范围 > 用户范围；

5、本地禁用：/mcp进行禁用，存储在~/.claude.json，项目内禁用；

6、MCP_TIMEOUT：服务启动超时时间设置；

7、MAX_MCP_OUTPUT_TOKENS：单次请求最大输出令牌；

二、chrome-devtools-mcp使用介绍

1、代码仓库：https://github.com/ChromeDevTools/chrome-devtools-mcp

2、使用帮助：https://www.npmjs.com/package/chrome-devtools-mcp

3、puppeteer仓库：https://github.com/puppeteer/puppeteer

4、puppeteer帮助：https://pptr.dev/category/introduction

5、功能介绍：操控chrome，支持自动化、深入测试、分析性能；

6、实现原理：使用puppeteer自动化，使用devtools分析性能；

7、实现原理：snapshot工具读取网页结构，生成a11y tree，标识网页每个元素，用于后续自动化操作；

8、安装mcp：claude mcp add chrome-devtools --scope user npx chrome-devtools-mcp@latest

命令参数：

1、--autoConnect，自动连接已开启调试的浏览器；
2、--browserUrl，自动连接已开启调试的远程浏览器；

3、--wsEndpoint，自动连接已开启调试的远程浏览器；

4、--headless，无头模式，没有用户界面的模式；

5、--isolated，隔离模式，使用临时的用户数据目录，浏览器退出时自动清理；

6、--userDataDir，用户数据目录，默认位于%USERPROFILE%\.cache\chrome-devtools-mcp\chrome-profile

工具介绍：

1、navigate_page，跳转到一个网址；

2、close_page，关闭一个指定的页面；

3、list_pages，列出目前打开的页面；

4、wait_for(text, timeout)，等待页面出现指定的文字；

5、evaluate_script(function, args)，当前页面执行脚本；

6、get_network_request(reqid)，查询一个网络请求，返回内容：请求头、请求体、返回头、返回体；

7、list_network_requests(resourceTypes)，列出页面产生的所有网络请求，默认返回所有资源请求；

常用资源类型：

["document", "script",
 "xhr","fetch","other",
 "eventsource", "websocket"]

chrome通信协议：

1、CDP：Chrome DevTools Protocol，基于WebSocket的JSON-RPC协议；

2、CDP：puppeteer和devtools使用CDP与浏览器通信，puppeteer简化了使用CDP；

3、CDP：--remote-debugging-port传输层使用TCP，--remote-debugging-pipe传输层使用管道；

4、扩展API：Chrome Extension API，浏览器的内部组件，运行在浏览器内部，效率非常高；

5、扩展API：扩展程序使用Chrome Extension API与浏览器通信，其核心是chrome.runtime；

6、Electron：Node.js + Chromium，前者是主进程，后者是渲染进程，渲染进程实现UI渲染和交互；

7、Electron：主进程和渲染进程之间使用IPC机制通信；