数据在项目根目录下By Gemini3 Pro Review
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134import sysimport osfrom pyspark.sql import SparkSessionfrom pyspark.sql.functions import col, avg, count, desc, explodefrom pyspark.ml.recommendation import ALSfrom pyspark.ml ...
开始学习vllm的基础知识才发现vllm与传统cv的巨巨巨巨巨大差别，vllm好有意思（看清->看懂）
阅读论文Visual Instruction Tuning，从而去了解了 CLIP; 指令微调SFT->视觉指令微调
Training language models to follow instructions with human feedback SFT->RLHF/PPO
其他大三上学期是一个学校作业很多的学期，这学期我的作业单上长出了以下几个重头戏：
操作系统课设
python大作业
JAVAEE大作业+课设
以及几个需要花时间学习以获得更高绩点的课程：
计网
大数据
编译原理
JAVAEE
这些东西十分困扰我，我做了以下一些准备：
大数据老师提出让我选择大数据相关的课题作为python课的大作业，这能同时帮助我学习一些大数据课程知识；
使用此前数据库课设未完全完成的项目完善后作为操作系统课设；- 这个已经完成的差不多了
使用考研教材学习计网；
由于JAVAEE选题十分严格，因此只能单独做了。- 正在完成中
之后计划
完成vllm的基础学习 ...
本章节没有找到问题。
步骤5
步骤6
步骤7
123456DEBUG - Connecting to master/100.64.0.3:16020processing line:1606002,GaoXiang,Male,19,96,73,94processing line:1606003,ZhangWei,Male,20,71,62,98processing line:1606004,ZhaoYing,Female,19,65,83,88processing line:1606005,QianLi,Female,22,98,86,73processing line:1606006,MaJia,Female,18,88,90,67
由于全搬希冀平台的实验细节篇幅过长，因此本篇只起到查漏补缺的作用。
建议作业时间大约在 4 小时。
常用指令master
12java -Xms4096m -jar elec-producer.jar ./household_power_consumption.txt ./output.txtflume-ng agent -c /opt/module/flume/conf/ -n a1 -f /support/flume-2-kafka.conf
slave1
1kafka-console-consumer.sh --zookeeper slave1:2181 --topic eleclog
实验概述实验步骤5更新maven配置根据希冀平台的实验步骤创建了三个项目并填入对应的maven配置
观察右上角侧栏发现一个maven按钮，点击即可呼出图片中的maven侧栏。
点击侧栏中最左侧的看起来与浏览器刷新按钮一模一样的按钮点击即可更新maven配置，使得你刚import的包应用在项目中。
之后你会发现下方出现了一项更新maven配置任务，点击详细信息后选择 always downloa ...
作业热门问题：老师，我作业数据呢？在希冀平台实验2中，找到它的作业那一栏，能注意到左上角突然出现了 实验数据 一栏。
然后就可以载入数据了。
hive不支持使用##作为分隔符，采取了正则匹配成功加载了数据。
first edition was made by deepseekfix by fenglingthank for @zc.
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614 ...
作业将csv文件导入希冀平台更多-上传文件至远程桌面
首先将数据上传到hadoop服务器
这里，建议先根据希冀平台的教程跑通 WordCount 项目。注意 Hadoop MapReduce 作业要求输出目录不能预先存在，以防止数据覆盖或丢失。Deepseek chat
使用cat命令查看文件存储格式观察到使用换行分割一组数据，逗号分隔一项数据
关于代码实现，有以下几个思考，可选择性采纳：
根据数据格式自定义Writable并重写toString函数
readline已经被废弃，建议使用BufferReader
直接全部使用LongWritable传输，在必要时转换为float格式
作业代码以下仅供参考
123456789101112131415161718192021222324252627282930313233343536373839import java.io.IOException;import java.time.LocalDate;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.i ...
我是sb，我没报上六级
20250920 那几天在丰矿地找可用的论文做复现填充对照组
周末&周一闲得无聊，要了点活，做了一下entropy在结果正确和失败的对比实验。没区别。
继续仔细阅读了 Don’t Overthink It: A Survey of Efficient R1-style Large Reasoning Models 这篇综述，目的是找论文。
令人遗憾的是我找的论文都有较大的复现难度，代码问题有点多如 SimPO: Simple Preference Optimization with a Reference-Free Reward 这篇论文由于近半年它的依赖更新，导致环境配置困难（尝试五遍无法打赢，已经尽力使用这篇文章当时的环境……） （令我十分遗憾，这篇文章的作者之一是chendanqi，在算法竞赛领域有一个以她命名的trick叫做cdq分治，就是她提出的。），事实上通过检查issue看得出之前（指今年1月以前）复现这篇文章并没有那么困难……
阅读 DAST: Difficulty-Adaptive Slow Thinking for Large Rea ...
Part1步骤3ssh连接hadoop服务器1234ssh masterssh slave1ssh slave2ssh slave3
建议开启五个tab，最后一个是主机，不执行任何ssh命令
terminal开启更多tab左上角file->open tab
步骤4在master的tab中执行：
1bash /scripts/hadoop/start-hadoop.sh
在主机tab中执行：
12mkdir -p ~/Desktop/workspace/hdfs_opcd ~/Desktop/workspace/hdfs_op
步骤5如果需要创建多层目录，可以使用参数“-p”
主机tab:
查看目录列表
1hadoop fs -ls /
创建目录
1hadoop fs -mkdir /newDir
删除目录
1hadoop fs -rm -r /newDir
步骤6查看当前目录位置
1pwd
创建hello.txt
1echo "hello" > hello.txt
将文件放入数据库
1hadoop fs -put hello.txt /newDir
查看数 ...
Abstract: 读了些论文，做了些复现，帮jungle做了个验证
Don’t Overthink It: A Survey of Efficient R1-style Large Reasoning Models这是一篇探讨在acc不降的情况下token length缩短的综述。
Chain of Draft: Thinking Faster by Writing Less此篇被知乎老哥锐评为一句“with 5 words at most.”的prompt水了一篇论文token length缩短效果不错，与jungle保持一致，但根据我的额外测试，在更加复杂的问题上表现不佳，相比之下jungle的acc好很多这篇论文很短，用词很简单，以至于我二三十分钟就读完了，打破纪录！
Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning选择较高信息熵的20%的token来训练会让效果更好mark了，十分有智慧
The Unr ...
MotivationContributions大量数据的强化学习GRPO蒸馏强大的小模型图片放到图床上这个过程应该自动化。
